サイトが表示出来ません

WordPressの仕様なのでしょうか。

結論から言うと仕様です。一般設定の WordPress アドレス／ブログアドレスは「全世界からアクセス可能なアドレス」(== FQDN ないしグローバル IP アドレス を使ったもの) である必要があります。したがって、

そこで、一般設定の、WordPressのアドレスとブログのアドレスを見ると、
http://127.0.0.1/wordpressとなっており、これを
http://*****.*****.jp/wordpress
に変更し、プロキシを通して外部からアクセスしたらサイトが表示されました。

という動作は、まさに仕様通りです。また、Canonical URI (標準 URI) の仕組みによって、IP アドレスでアクセスしても一般設定で入力した FQDN を使ったアドレスに補正されたりします。

但し相変わらず、http://192.168.*.*/wordpress/では、Windouwsパソコンからは表示されません。
ところがサーバー側でもhttp://127.0.0.1/wordpress/にアクセスしてもサイトが表示出来なくなりました。

というのは、あなたの自宅サーバー環境の問題です。WordPress の問題ではありません。自宅内 LAN からグローバルな FQDN である http://www.example.com/ のようなアドレスでアクセスできるように設定すれば解決するはずです。

おそらく自宅サーバーだと思いますが、その場合は、それぐらいのネットワーク知識はあると思いますので、がんばってみてください。

あと、余談ですが、ウェブログアドレスに「wordpress」という文字を含むのは好ましくありません。インストール説明にそういう文字列を含んでたりするのですが、それは説明が不適切です;-)
そうしてしまうと、遠い将来、WordPress が名前を変えたり、WordPress 以外のツールに乗り換えたりした場合、とたんに URL がかっこ悪くなります。また、「WordPress」は商標なので、むやみに使うことは認められていません。(まあ、タグやカテゴリーで「WordPress」を使うぐらいは大丈夫かと思いますが)。

FQDN というのは日本語で言うと「完全修飾ドメイン名」です。ちょっと検索すると出てきますよ。ウィキペディア日本語版のFully_Qualified_Domain_Nameを読んでみて、そこから関連項目を次々とあたっていくと、理解できるかもしれません。

恥ずかしながら、50歳近くなってからLinuxを独自で勉強しホームページを開設しました。

いえいえ、50歳というのは、まだまだチャレンジする年とだと思いますが、自宅サーバーをやられているんですよね? それだと、FQDN という言葉を知らないのは、かなりの勉強が必要かと思います (ネットワークの基礎ですから)。

体系的に勉強するならば、DNS & BIND あたりを読んでみるのがベストでしょう。余分と思われる内容も多いのですが、下手な初心者向けの本よりははるかにマトモですし。