robots.txtファイルについて
-
Google Search ConsoleにてURLを入力し、テストを行いました。
結果、「ページにアクセスできません」
ページが利用できない、ページがrobots.txtによってブロックされているといった理由が
考えられます。
でした。その後、robots.txtテスターというサイトの存在を知り、自分のURLを入力してrobots.txtファイル中身の確認と評価をしたくてテストを行ったところ、
「robots.txt取得エラー」
現在Googleで取得できないrobots.txtファイルがあります。この場合、Googleがrobots.txtを取得す
るまでサイトのクロールが停止されるか、前回取得したrobots.txtファイルが使用されます。
と画面表示されました。この画面を閉じてCSS言語が入力出来る画面表示に変わり
「最新バージョン:2021/02/21 12:19エラー」と上に表示されCSS言語で書かれたrobots.txtファイルの中身は無いみたいです。
ネットサイトで調べたら、通常はCSS言語で書かれたプログラムが表示される様です。robots.txtの中身が無いのでサイトで調べたプログラム言語で書き込みを行い、送信をクリックしました。
画面表示が1~3項目ある表示に変わり2項目の「アップロードされたバージョンを確認」の
「アップロードされたバ・・・」をクリックしたところ、ロリポップサーバーを使っているのですが、「内部500エラー表示されロリポップサポートに連絡してください。」と表示されました。お尋ねしたいのは、WordPressは初期状態ではrobots.txtファイルは存在していないので設置しないと行けないとサイトに書かれていましたが、皆さんはどうされたのですか?
また、robots.txtファイルの中身のCSSプログラム言語はどんな内容にされたのですか?宜しくお願い致します。
- トピック「robots.txtファイルについて」には新たに返信することはできません。