このような現象には、どのような理由が考えられるでしょうか？
あくまで一般論を言うと、
・第三者があなたのサイトについて Google に苦情を申し立てて検索結果から排除させた (この場合は検索結果の下の方に注意書きが出ます)。
・Google (の検索アルゴリズム) があなたのサイトを無価値と判断して、順位を下げた。
・Google (の検索アルゴリズム) があなたのサイトを「スパムサイト」と判断して結果から削除した。
・あなたのサーバーが (何らかの理由で) Google のクローラーを排除してしまってて、検索対象から外れてしまった。
・その他
まずは、Google ウェブマスターツールを導入してみてください。導入していれば、そのレポートをよく読んでみましょう。
アドバイス、ありがとうございます。
「無価値と判断された」という可能性は横において（笑）、ウェブマスターツールで確認してみました。
すると、クロールエラーで次のような記録が残っていました。
HTTP 0
robots.txt によりアクセスが制限されています 157
アクセスできません 0
クロールを完了できませんでした 60
サイトマップ 26
タイムアウトしました 0
見つかりませんでした 24
上記の「robots.txt によりアクセスが制限されています」は、数の多さが気にはなりますが、このメッセージを見る限りは、問題ではなさそうですよね？
「クロールを完了できませんでした」は、一ヶ月ほど前にパーマリンク設定を変更し、プラグインの Permalink Redirect を導入したことが影響していると思います。
このプラグイン自体は正常に動作しており、基本的にはパーマリンク設定変更は完了しています。
まだ自力で解決ができないようです。
続けて、アドバイスをいただければ幸いです。
よろしくお願いいたします。
まずは、Google XML Sitemapsの管理画面で
「サイトマップの URL を仮想 robots.txt ファイルに追加 」のチェックを外して下さい。
次にサーバのルートディレクトリにrobots.txtがあれば、記述を確認して下さい。
http://www.suzukikenichi.com/blog/how-to-create-robotstxt/
これで問題がなければ、WordPressのフォーラムでは解決できません。
googleのウエブマスターセントラル ヘルプフォーラムお訪れるとよいでしょう。
その前に以下の記事を読んでおくことをおすすめします。
http://www.suzukikenichi.com/blog/tips-on-requesting-reconsideration/
アドバイス、ありがとうございます。
まずは、仮想robots.txtの設定をオフにして、最小限のファイルを設置しました。
それにしても、ご紹介のサイトをざっと眺めてみたのですが、「Google からのペナルティ」という言葉には、驚きました。
自分がペナルティを受けているかどうか、通知がきた場合は明らかですが、必ずしも通知がくるとは限らないということであれば、確実に確認することはできないわけですよね。
今はうーんと唸っている状態です。
まず整理すべきは
１、現在サイト全体にいくつのページが存在するのか？（カテゴリ・タグなど含む）
２、robots.txt によりアクセスが制限されています 157 は上記のページより多いのか？少ないのか？
（robots.txtファイルを自分で設置したなら、記述は正しいか？）
３、Google XML Sitemapsで書き出されたsitemap.xml の中に何ページ存在しているのか？
（この中のページと検索結果に表示されないページの関係は？）
その前に「突然、Google の検索結果に表示されなく」の意味をわかりやすく伝えるといいでしょう。「あるキーワード」で検索したときの自サイトが最下位まで一切表示されないのでしょうか？ 他のキーワードではどうなのですか？
あるキーワードで自サイトが表示されるかの検索式は
あるキーワード site:http://yourdomein.com/
です。
これで、検索結果に表示されればインデックスはされていますので、ペナルティではないでしょう。
検索結果順位が下がる前と後の頃に何かサイトに手を加えてないか整理してみるといいでしょう。その後ウェブマスターセントラルフォーラムに質問した方が解決が早い気がします。
ウェブマスターセントラルでの回答が沢山つく質問の仕方の記事があったのですが、失念しました。
WEB担当者Forumだったかな？
ご紹介の http://www.google.com/support/forum/p/webmasters?hl=ja を見てみました。
うーん、深いですねぇ。
まず、ペナルティが課されているかどうかを判断する方法をご教示いただき、ありがとうございました。試したら、検索結果に表示されましたので、ペナルティを課されているわけではないようで安心しました。
従って、「検索結果から消失」ではなく、理由はまだ不明ですが「検索順位が劇的に低下した」と言うべきですね。
しかし、原因はまだわかりません。
私のサイトは自前のドメイン／サーバであり、広告も全くない極めて小規模な個人ブログに過ぎません。（固定ページを入れても全部で３０ページ程度です）
ブログでもあるため、どうしても循環型リンク構造にもなっていますが、Googleが問題にするほどのものとも思えません。
また、「robots.txt によりアクセスが制限されています 157」ですが、これは全て一つのファイルに対するエラーなのです。
プラグインでタグクラウド3Dを使っているのですが、上記のエラー（？）は、全てこのプラグインのSWFファイルへのアクセスです。
ここで疑問に思うのは、つい数時間前までは仮想robots.txtファイルでしたから、アクセス禁止になっていなかったのに、なぜ、上記のような現象が生じるのか、ということです。
しかし、これが解決につながるのかどうか、余り本質的な話ではないような気がします。
Google のウェブマスターツールの「Fetch as Googlebot」を使って、自分のサイトにルートを含めて数ページにアクセスしてみましたが、全て成功しました。
もう少し、いろいろと試行錯誤してみます。
何か気がついた点などありましたら、今後もご助言いただければ幸いです。
Google のウェブマスターツールの「Fetch as Googlebot」の件です。
最近作成したページにむけて fetch させてみたら「見つかりませんでした」と表示される場合があります。
しかし、そのURLはブラウザ上ではアクセスできますし、Wordpress上で管理されているものと同一です。
fetch できないはずはない、そう思うのですが。
これは、どういう理由が考えられるでしょうか？
Google のウェブマスターツールの数値はあっているようで、？なところもあり、
色々利用の仕方にくせがあるようです。
>これは全て一つのファイルに対するエラーなのです。
>上記のエラー（？）は、全てこのプラグインのSWFファイルへのアクセスです。
この辺に問題はありそうですね。
サイトマップ 26 なのに
robots.txt によりアクセスが制限されています 157
この数値の開きはそう言うことでしたか。
では、botの動きとしては
swfの中でループor内部リンクの過多、などしている→クロールを完了できない。
ここでクロール自体を終了した。
よってタイムアウトは 0 となる。
と言うことも考えられます。
ただし、１回のクロールに問題が出たとして、
いきなりインデックスから消去されると言うことはないはずです。
（クロール完了しなくとも）通常はまた数回のクロールがあって、そのうちページの順位が下落します。
ただしタグクラウドは通常サイドバーに置かれますので、
サイト全体に影響はあるかも知れません。
（余談：SEOを重視しているECサイトではタグクラウドはあまり使用しません→キーワードを自分でコントロールできないから）
ひとまず、この辺を見直してから、sitemap.xmlの再送信をしてみて下さい。
ウエブマスターツール→サイト設定→サイトマップ
その時は、sitemap.xmlの全てのURLの<lastmod>2010-02-26T、、、</lastmod>を事前に手動で直近時間に変更しておいて下さい。
次回のクロール完了まで、様子を見るといいでしょう。
100位圏外からの順位変動を確認するには”GRC”あたりの無料版を使うと便利です。
これで改善したなら「タグクラウド3D」プラグインが若干？かなと言うことですね。
多少WordPressフォーラムの話題になりましたか。
アドバイス、ありがとうございます。
とりあえず、以下の対処をしてみました。
1. まず、Permalink Redirect を外しました。
2. robots.txtには「Disallow: /wp-*」を追加しました。
3. タグクラウド3Dを外しました。
4. sitemap.xml を再送信しました。
これでしばらく様子を見てみます。
しかし、「Fetch as Googlebot ができない」のは問題だと思っています。
これは、
1. 一部のページのみ、できない。
2. できない、とは、「エラー」(400 Bad Request)と「見つかりませんでした」(404 Not Found)の二種類がある。
最初は、fetch できないページの共通項として日本語URLであることかな、と思ったのですが、他の日本語URLでも fetch できるページもあるのです。
もちろん、fetch できないページも普通にブラウザアクセスできます。
ここで悩んでいます。
何か気がついたことがあれば、ご教示願えると助かります。
よろしくお願い致します。
Permalink Redirectがちょっと気にはなります。
このプラグインは301リダイレクトを使用しているようですね。
（使用したことはないですが、.htaccessに直接301を書き込むのでしょうか？また、日本語アドレスに対応しているのでしょうか？）
検索で順位が落ちたページ、と「エラー」(400 Bad Request)と「見つかりませんでした」(404 Not Found)のページをこのプラグインで設定した事はありませんか？
たとえば、
旧アドレス → 新アドレス に301をした場合何か設定エラーでこのエラーが出る可能性はあるかもしれません。
旧アドレス → 新アドレスは確実にあってましたか？
サーバリクエストのHTTPレスポンスをみてみるといいかもしれません。
HTTPヘッダーを知っていますか？ | Web担当者Forum
Firefox のアドオン Live HTTP headers が便利です。
このアドオンを別ウインドウで開きながら旧アドレス（旧パーマリンク）を開いてみてください。
301が正常に通っていれば、以下のような返答が返っているはずです。
http://旧アドレス
GET /リクエストしたアドレスのルート以下部分 HTTP/1.1
Host: あなたのホストドメイン
省略
HTTP/1.1 301 Moved Permanently ←重要
Date: Sat, 27 Feb 2010 06:32:05 GMT
Server: Apache
Location: http://新アドレス
省略
HTTP/1.1 301 Moved Permanently が表示されれば正常です。
301リダイレクトは、サイトにそれほどページがない場合は.htaccessに直接書き込む方が確実ですし、自分で動作の検証が容易です。
以下の行を# END WordPressの後に書きます。
（例は同じドメイン内の場合）
Redirect permanent /転送元アドレス http://yourdomain.com/転送先アドレス
（最初の部分は/ルートから、転送元アドレスと転送先アドレスの間は半角空白開け。yourdomainを変えれば別サーバも可能です）
日本語アドレスの場合はURLエンコードした方がいいでしょう
Web便利ツール/URLエンコード・デコードフォーム – TAG index Webサイト
（私は日本語アドレスを使用してないので、検証したことがありません）
追記：
検証はPermalink Redirectを再度ON・.htaccsessには301設定しない状態で行ってください。
詳細なアドバイス、ありがとうございます。
気合を入れて検証してみます。
その結果は、またご報告させて頂きますので、よろしくお願い致します。
