register_settingで登録した項目の削除について

お世話になります
つい先日からテーマの作成にチャレンジしている初心者です。
何卒よろしくお願いいたします。

add_action('admin_init','on_init');
function on_init() {
	register_setting('my-setting','version');
}

のようにテーマで使う設定項目を登録しました
管理画面で変更するフォームを作成し、うまくいっています。

さて、他のテーマに変更されたとき、
設定項目を削除したいと思い、

add_action('switch_theme','on_bye');
function on_bye() {
	unregister_setting('my-setting','version');
}

とかやってみましたが、削除されない様子です。
（テーマを他のものに変更し、改めてテーマを適用すると、前の値が入っている）

何か勘違いしているような気もするのですが、
アドバイスやヒントなどをいただけたら助かります。