URLの最後の部分を文字変更すると重複ページが発生する

利用中のWordPress
　バージョン： 6.4.3
　テーマ：Cocoon

記事投稿時にURLの最後の部分を変更しています。
変更する理由は、自動で設定されるURLが長いので短くしたいからです。

例えば、
自動で設定されるURL（URLの最後の部分に記事のタイトルが設定されます）
　https://bizpla.com/blog/即戦力となるアルバイトの採用方法や・・・・・・・/
↓
変更後（最後の部分を短いアルファベットに変更しています）
　https://bizpla.com/blog/sokusenryoku/

しかし、変更しても変更前のURLのページは消えずに存在しているようで、アクセスすると403エラーが表示されます。

SE0的に重複ページが存在のはよろしくないと聞きますので、変更前のページを削除したいのですが、WordPressの管理画面で該当ページがどこにも表示されないので削除できません。

どなたか削除もしくは当該ページに　noindex　を設定する方法をご存知ないでしょうか？

ご指導いただけますと幸いです。
どうぞよろしくお願いいたします。

ヘルプの必要なページ: [リンクを見るにはログイン]