GoogleのPageSpeedをお使いなのでしたら、改善したほうが良い部分がリスト化されて出ているはずです。
リダイレクトを使用しない
（L）リダイレクトの回数を減らす
ブロック リソースを減らす
（L）小さな CSS をインライン化する、（L）小さな JavaScript をインライン化する、（L）スタイルシートとスクリプトの順序を最適化する
ペイロードを最小限にする
（H）圧縮を有効にする、（M）CSS スプライトに画像をまとめる、（L）画像を最適化する、（L）CSS を縮小する、（L）変更後のサイズで画像を提供する、（L）JavaScript を縮小する、（L）HTML を縮小する
ページの読み込みの遅延を最小限にする
（L）リクエスト サイズを減らす、（L）画像のサイズを指定する
その他
（H）ブラウザのキャッシュを活用する、（L）JavaScript の解析を遅延する、（L）キャッシュ バリデータを指定する、（L）Vary: Accept-Encoding ヘッダーを指定する、（L）静的リソースからクエリ文字列を削除する
使い方などはご自身で調べてください
ついに出た！Chrome版「Page Speed」の使い方
以前似たようなサイト(画像や件数が極端に多い)サイトを運営・管理していた事がありますが
外部のアド広告やトラッキング等のレスポンスが遅くて足を引っ張られるのが一番多かったです。
詳しくは書けませんが
結局渡されるスクリプトを再度書きなおしたり
部分的にキャッシュするように書き換えたりしました。
なるべくリクエスト自体やリクエストサイズ・レスポンスサイズを減らすように構成すると少しは改善されるかもしれません。
後WebサーバもApacheからnginxへ変更しました。
ただ、Wordpressの機能の一部が機能しなくなるので(rewrite等は設定し直さないと動かない)
お使いのプラグインへの対応や、キャッシュ等の処理を全部自前で書く必要があります。
