フォーラムへの返信

5件の返信を表示中 - 1 - 5件目 (全5件中)
  • トピック投稿者 nobe

    (@nobe)

    原因判明!

    原因が分かりましたので、報告しておきます。
    グーグルはページの中にフォームを見つけると、その結果を取り出すべく、自動的に、テキストボックスを入力したり、チェックボックスやラジオボタンをつけて、送信を行います。
    Wordpressの検索窓に自動で単語をいれていたのはグーグルということになります。
    GETでしかできないので、methodを変える方法も考えられます。

    詳細:Crawling through HTML forms

    トピック投稿者 nobe

    (@nobe)

    みなさんありがとうございました。

    ドメインの件も了解いたしました。しばらく様子を見た結果、robot.txtでなんとか対応できています。取りあえず、クローズいたします。

    グーグル以外の設置元サイトは見つからなかったのです。こうなると目的も不明です。また、グーグルのクローラが見つけたとは思えないのです。日本語のグーグルヘルプにも投稿してみましたが反応無しです。

    トピック投稿者 nobe

    (@nobe)

    akhiro様ありがとございます。
    robot.txtは良く効いています。しかし、ロボットは、まだ、登録をしようとしていますので、原因は不明です。時間ができたら、アクセスログを調べてみます。

    トピック投稿者 nobe

    (@nobe)

    みなさん、ありがとうございました。
    対処法はrobot.txtで決まりですね。
    ところで

    どうして登録されたのか?はクローラ―がそのページにアクセスできるからです。

    これがまさに疑問なのです。ロボットがアクセスできるためには、検索結果へのリンク http://mydomain.com/?s=keyword などがそもそも、どこかのサイト(自サイトか外部)にあったか、検索エンジンに直接登録申請があったことなります。
    グーグル検索窓にクォーテーションも含め “?s=われ” と入力して検索してみてください。何件かブログの検索結果が検索されます。wordpress以外のブログもあるので、ブログシステム自体ではなく、どうやら検索エンジン関係の問題のようです。しかし、Yahoo側に載らないのはなぜだろう?

    トピック投稿者 nobe

    (@nobe)

    ご回答ありがとうございます。併用してみます。

    質問の仕方が不明瞭でした。
    ロボットの排除方法ではなく、そもそも、検索結果が登録された原因を取り除きたいと考えています。検索エンジンに登録された原因は
    1.検索結果を表示するリストページがなんらかの原因で作られている
    2.サイトマップXMLで登録がおこなわれている。
    3.登録申請ページで登録が行われている。
    の3つ以外ないと思っています。2については確認できました。Yahooは問題ないことから、3が怪しいと思っていますが、自分で行った記憶は有りません。
    結局どれも該当しないように思えるので、どなたか似た経験のあるかたがおられないかとお尋ねしてみました。
    よろしくお願いします。

5件の返信を表示中 - 1 - 5件目 (全5件中)