keiku1さん、こんにちは。
まずは、本当に遅い原因がサーバーにあるのか、切り分けを行ってみたでしょうか。
プラグインを入れずにデフォルトのテーマで、記事が何も投稿されていないWordPressをインストールした直後の状態でも表示が遅い場合、サーバーに原因があることが考えられます。
ほとんどの場合、WordPressをカスタマイズしていくうちに、いろいろなプラグインの追加や高速化に特化していないテーマの使用など、遅くなる原因を自身で作り上げていることが多いです。
プラグインやテーマで、記事やカテゴリなどひとつのページにデータベースから多くの情報を読み込もうとするとデータベースへのアクセスが多くなり表示が遅くなります。
テーマ等でJavaScriptを使用したスクリプトの読み込みが多くなるとレンダリングが遅くなり、結果表示が遅くなります。
まず、サーバーを変える、プランを変更する以外で実施できることとすれば、使用しているプラグインやテーマで表示を遅くしてしまっている物がないか徹底的に検証し、外していくことです。
ログインしていないユーザー側への対策としてはページキャッシュプラグインでなんとかできることもあります。
広告の表示等はJavaScriptで制御していることが多く、圧倒的に表示を遅くするので、広告を外せないのであればそれ以外を徹底的に見直しましょう。
素のWordPressインストール状態で遅い場合、もうサーバー変更かプラン変更しか方法はないと思われます。
ご参考になれば。
細かなアドバイスは既にコメントされてますので割愛しますが、他社が制作したサイトでも何でも、WordPress高速化に特化したサービスもあります。
ご自身で解決が難しい場合はそういった専門サービスを利用してみるのも一つの解決策です。