１回のテストメール送信で４回もメーるがきてしまいます。

同様の症状は発生していないので解決に繋がらないかもしれませんが、
お使いのサーバーは何ですか？
Wordpressに設定したメールアカウントとコンタクトフォームとサーバーの
問題ではないかと推測したのですが・・・

コンタクトフォームで送信を実行した後のサーバーのログをご確認いただく事は出来ますでしょうか？
ログに関しましてはwww、mailの両方を参照してご提示頂ければ解決の糸口が掴めるのではないかと思います。

ヘルテムって初めて知りました。
レンタルサーバーって沢山あるんですね。
私は自前のサーバーとVPSしか使わないので・・・

時間があったのでヘルテムをレンタルして見てみましたが
ログはWebしか見れないようですね。
と云うか、一般的なレンタルサーバーは、殆どそうだったような？

生ログが見れるようですが、その生ログにPHPでメールを送信したログが出ていれば
何らかの原因が突き止められそうに思います。