速度に影響する画像について

ウェッブサイトの表示速度について、おたずねします。

速度のパフォーマンスには様々な要素が影響していて、その中でも、画像ファイルの最適化が重要だと思っています。

それに関して、ウェブページに実際に貼った画像のみを考えれば良いでしょうか、

それとも、ダッシュボード　> メディア　> ライブラリーに保存されている画像群も影響あり、と考えるべきでしうか。
（実際にウェブページに貼っていない画像も多数残っています）

ご教示のほど、よろしくお願いいたします。