ネームサーバー変更後に、表示までの速度が異常に遅い

サーバーを「さくらインターネット」から「Xサーバー」へ変更し、ドメインのネームサーバーも「Xサーバー」指定値に変更したところ、自分が閲覧するPCのみコンテンツの表示までの速度が異常に遅くなっています。
自分なりに原因を探しているところですが、ご教授いただければ幸いです。

［ネット環境］
・windows7／IE11

［現象］
・サーバーをXサーバーに変更し、SQLデーター、コンテンツデーターを移行。
・Xサーバーの動作確認用URLで動作確認OK。
・ネームサーバーをXサーバー指定に変更。
・DNSは反映後、ドメインでの動作確認はOK・・・
・しばらくして、再度サイトを表示させるとHOME含め、コンテンツの表示に20秒以上かかる
ようになった。Xサーバーのサポートに問合せたところ、正常に表示していると回答。
・他のネット環境では正常のようです。

［経過・確認したこと］
・ダッシュボードへのログイン、表示速度は正常。コンテンツだけ表示までに時間がかかる。
・再度Xサーバーの動作確認用URLで確認すると正常。
・IE、Chromなど、どのブラウザでも同じ現象。
・ブラウザのキャッシュ、cookie、履歴を削除しても同じ
・プラグインを外しても同じ。
・自分のパソコン環境だけの現象のようなので、windowsPCのDNSキャッシュを削除したところ、表示スピードは正常に戻るが、少しするとまた再現する（表示までのスピードが異常に遅くなる。）
DNS、キャッシュ等が関係しているような気がするのですが、原因が特定できていません。

よろしくお願いいたします。