GoogleAPPSのメール+さくらサーバー+プラグインの相性が悪い？

以下の内容は確証がある解決策ではないので、うまくいかないかもしれません。

SMTPサーバーが送信要求を受けた場合に、送信元のドメインがメールのドメインと一致するのかチェックを行うものがあります。
DNSに逆引き設定がないと、この検証に時間がかかるようです。
（なぜ遅くなるか、というところは私は理解していません）
共有のレンタルサーバー全般に言えることですが、DNSに逆引きを設定することはできません。
ですので、共有のレンタルサーバーでは自動的に遅くなる、というものです。

しかし、GoogleのメールサーバーはDNSに設定されたSPFでも発信元が正しいかどうかのチェックを行っています。
もしかしたら、SPFを設定したらそちらでの検証が先に行われて速くなるかもしれません。

ドメインがさくらのDNSを参照するようにしているのであれば、さくらのコントロールパネルから、「SPFレコードを利用する」にチェックをつけるとDNSレコードにSPFの設定が追加されます。

繰り返しますが、確証がありませんので速くならないかもしれません。
また、Google関係のフォーラムなどで質問された方が的を得た回答が得られように思います。