TOP以外、404ERRORとなってしまう

おそらく、管理パネルの「パーマリンク設定」で標準 (?p=1234) 以外の形式を選ばれているんですよね。WordPress のパーマリンク機能は、Apache (ウェブサーバー) の mod_rewrite という URL 書き換え機構を使います。.htaccess は、Apache の設定ファイルの一種で、mod_rewrite の設定をするために使います。

通常は、パーマリンク設定を行なったときに自動的に .htaccess が生成されるんですが、WordPress インストールディレクトリーに書き込み権限がないと生成できません。この場合、パーマリンク設定画面で「.htaccess を更新する必要があります。」というメッセージが出たはずです。画面の下の方に、記述すべき内容および手順が出てきますので、それに従ってください。

一番楽なのは、一時的に WordPress インストールディレクトリー (wp-config.php などが存在するディレクトリー) のパーミッションを 777 にして、パーマリンク設定を再度行うことです。その後、パーミッションは元に戻してください (755 とか)。

その名前のファイルを作成してアップロードするような
ものでしょうか？

場合によってはそういう手順が必要になります。Windows の場合、頭がドットで始まるファイル名を作りにくいのですが、それの回避方法はネット検索で調べてみてください。