マルチサイトのパフォーマンス、表示速度に関して

現在マルチサイトを１０サイト運営しております。

パフォーマンス的にはかなり遅いです。
4～５秒ほどサイト、管理画面でかかっています。ひどいときはもっと….

キャッシュ系プラグインや高速化系のプラグイン等も導入済みです。

Quick CacheやWP Hyper Responseを入れています。
プラグインを入れても高速化につながりません。

やはり、マルチサイトというのは根本的に遅くなるのでしょうか？？
データベースがまあ一緒なので呼び出しに時間はかかるのでしょうが
少々ストレスに感じております。

ワードプレスのどこが原因で修正すればいいでしょうか？
どなたかご教授願います。

WPのバージョンは3.9です。
よろしくお願いいたします。