もしかしたらですが
kotaro_kotaroさんのように
wpフォルダといったのを作成せずに
ルートに直接、WordPress をインストールしているサイトで
robots.txt にアクセスして、見た結果なのかも知れないです。
というのは
こちらの方の記事にあるように
http://2inc.org/blog/2013/02/21/2950/
自動生成の仮想robots.txtだと
kotaro_kotaroさんのように
ルートにwpフォルダを作成して
そこに、WordPressをインストールしているケースだと
たとえば、独自ドメインが、example.com だったら
http://example.com/wp/robots.txt
に、仮想robots.txt が自動生成されるみたいなのですが
そこにアクセスすると
WordPress は、４０４を返すようになってるからです。
わたしは、サーバーを、引っ越そう引っ越そうと思いながら
ちんたらしていて、そのまんま放置状態になってまして
(1)すっごく古いバージョンの WordPress を使っていて
(2)手動でrobots.txtを設置してなくて(仮想robots.txt)
(3)ルートの wp2 ディレクトリに、WordPress をインストールしてまして
(4)「XML Sitemap Generator for WordPress」
というプラグインも、導入していないので
(●￣▽￣●;)ゞぽりぽり
わたしのサイトの、仮想robots.txt にアクセスすると
User-agent: *
Disallow: /wp2/wp-admin/
Disallow: /wp2/wp-includes/
となってます。
たとえば、kotaro_kotaroさんが
http://example.com/
ここを「ホーム」にして、最新バージョンの WordPress を
インストールしているのだったら、手動でrobots.txtを設置して
「Disallow: /wp/wp-admin/」と書いてはじめて
クローラーに正確に伝わると思います。
5ekiさん
回答ありがとうございます。
書き忘れましたが、（ドメイン名は仮のものです）
http://example.com/wp/
にインストールは行いましたが
ホームはhttp://example.com/
にしています。
ルート以外にインストールした場合、
robots.txtは自動生成されないそうなので、
手動でrobots.txtを作成し、ルートに置きました。
記述は、とりあえず
「Disallow: wp-admin/」
にしているのですが、
「Disallow: /wp/wp-admin/」
にしないといけないのでしょうか。
ウェブマスターツールの管理画面内のでテストしてみると
「Disallow: /wp-admin/ によってブロックされています」
となっているので
「Disallow: wp-admin/」
でも間違っていないような気もするのですが、
うーん。。どうなんでしょうか。
