僕も似たような状況になり、自己解決しましたので、ここに記します。
僕の場合はAdvanced Custom Fieldsで画像のカスタムフィールドを作って、画像を追加したまでは良かったのですが、画像を入れ替えようと思い、(カスタムフィールドから削除する前に)「メディア」から当該画像を「完全に削除する」にしてしまったのです。
・カスタムフィールドにデータは残ったままだが、アップロードした画像データはもう無い。
・画像データが無いので、カスタムフィールドのところに、画像や削除ボタン(☓ボタンですね)も表示されない。
という状態になりました。
仕方がないので、phpMyAdminからデータベースのwp_postmetaテーブルの中に、Advanced Custom Fieldsが作った当該データを見つけ出して削除しました。
もちろん、すべて元に戻りました。
-*-*-*-*-*
wakaba2014さんの「画像を追加や削除を繰り返していると」という状況がよく分かりませんが、一度、データベースの中を見られてはいかがでしょうか?
wp_postmetaテーブルの中に何かしらのデータが残ってしまっているのでは無いかと想像しています。
↓参考にどうぞ
http://notnil-creative.com/blog/archives/1752