mojimoji

3.5.1ならwp-login.phpの143行目に以下があります。
<p id="backtoblog"><a href="<?php echo esc_url( home_url( '/' ) ); ?>" title="<?php esc_attr_e( 'Are you lost?' ); ?>"><?php printf( __( '← Back to %s' ), get_bloginfo( 'title', 'display' ) ); ?></a></p>

これを
<p id="backtoblog"><a href="http://www/google.co.jp">Google</a></p>
こんな感じで書き換えてしまえば可能ですが、
アップデート時には上書きされてしまうと思うので注意してください。

ヘルテムって初めて知りました。
レンタルサーバーって沢山あるんですね。
私は自前のサーバーとVPSしか使わないので・・・

時間があったのでヘルテムをレンタルして見てみましたが
ログはWebしか見れないようですね。
と云うか、一般的なレンタルサーバーは、殆どそうだったような？

生ログが見れるようですが、その生ログにPHPでメールを送信したログが出ていれば
何らかの原因が突き止められそうに思います。

どちらのレンタルサーバーか分かりませんがwebdavが使えるのであれば
それを利用した方が良いでしょう。
webdavならSSL通信も可能ですので・・・

startで起動しないのではなく起動しているから起動エラーになるとか・・・
restartでも同じですか？
MySQLサーバーにコンソールからログインできますか？
ログインや起動を試みた際のログをご確認ください。
/var/log/messagesに出力されます。

同様の症状は発生していないので解決に繋がらないかもしれませんが、
お使いのサーバーは何ですか？
Wordpressに設定したメールアカウントとコンタクトフォームとサーバーの
問題ではないかと推測したのですが・・・

コンタクトフォームで送信を実行した後のサーバーのログをご確認いただく事は出来ますでしょうか？
ログに関しましてはwww、mailの両方を参照してご提示頂ければ解決の糸口が掴めるのではないかと思います。