データベースの最適化について

いつもお世話になっております。

wordpressデータベースについて最適化をしたいと考えております。
現在記事をどんどん増やしていっているのですが
データベースを見ると、使っていない添付ファイルなどの物が
増えていっており、サイトの表示速度その他に影響がないか懸念をしております。

添付ファイルに関してはサーバ上にアップされる実ファイルと
それを管理するデータベースのデータがありますが、
これらがある場合とない場合とでは
ソートされた一覧のページを表示する際など、
どの程度の違いがあるものなのでしょうか？

実際にこういったデータベースの最適化を行った経験のあるかた
がいらっしゃいましたらどの程度体感での違いがあったかなど
ご経験談をお聞かせ願えればと思います。

どうぞよろしくお願いいたします。