Gravatarの画像を削除

ユーザー→プロフィール→プロフィール写真
で、Gravatar でプロフィール画像の変更が可能です。
とあったので、Gravatarで画像を追加しました。

ですが、すぐ下のプロフィール画像でプロフィール画像を変えられたので、
Gravatarの画像を削除したいです。ですが、WordPressやGravatarに画像を削除する項目がありません。

ディスカッション→アバターの表示
で消すことができますが、そうするとプロフィール画像自体が消えます。

Gravatarでの画像を削除すれば、消えると思うのですが、
これはどのようにすればできますでしょうか？
よろしくお願いいたします。