タグID（タームID?）でタグページを開きたい

カスタムパーマリンクで「/%post_id%」
タグベースのところを「tag」に設定しています。

投稿ページや固定ページは基本的に何も問題なく動作していますが、お客様の希望で、キーワード別一覧ページのURLをタグ名じゃなくてタグIDで表示してほしいと言われています。

現状
tag/タグ名
とURLを入力する事で、tag.phpが開きまして、「タグ名」が含まれる記事リストを表示する事自体は出来ています。
そこを
tag/タグのID（term_id でしょうか）
でURLが開くようにしたいのです。
ただ実際は例として「tag/123」とURLを打つと404エラーになってしまいます。

個人的には「123」というタグ名としてURLが開いてくれると思っていたのですが、そもそも404になってしまうのでtag.phpの方ではなんとも出来ない感じになっています。

フィルターフックとかでURLをリライトしてやらないといけないのかな？とまでは想像してみたのですが合ってるかも出来るのかもわからなくなってしまいました。

何かヒントをいただければと思います。
よろしくお願い致します。