【ラジオ番組”BizHack MEDIA”】放送局での配信は2021年07月をもって終了しました。

“robots.txt によりブロックされましたが、インデックスに登録しました”の解決方法【Google サーチコンソール】

ITを利用する
ITを利用する
この記事は約5分で読めます。

※この記事は、サイト管理者向けです。
本ブログBizHackのサイト管理者コバヤシ(@BizHack1)です。

今回は、Google サーチコンソールから“robots.txt によりブロックされましたが、インデックスに登録しました”が出た時にどうすれば解決するのかを解説します。

スポンサーリンク

Googleサーチコンソールとは?

画像引用元:https://search.google.com/search-console/about

Google サーチコンソールは、サイトやブログがGoogle検索上で、

  • 「どんな言葉で検索されているか」
  • 「Google検索の対象になるようにしてくれる」
  • 「外部のサイトから自分のサイトにリンクされているページがわかる」

など、運営する時に参考にできる便利なツールです。

サイト内部のアクセス状況を解析できる、Googleアナリティクスと連携して使うことで、サイト改善に大いに役立ちます。

スポンサーリンク

robots.txtとは?

robots.txt は、検索エンジンに対して、

  • どのクローラに(User-agent)
  • どのページを見せないようにして(Disallow)
  • どのページを見せるようにする(Allow)

という、クロールをこちらから制御するものです。

例えば「購入者限定のpdfファイルは検索されたくない」や「画像がパクられるのがイヤだ」という場面で、robots.txtで指定しておけば防ぐことが出来ます。

【クローラとは?】
検索エンジンがサイト巡回して情報収集してくるロボットのことで、例えば、GoogleやYahooならGooglebot、BingならBingbotなどになり、検索エンジンごとに種類が違います。

スポンサーリンク

“robots.txt によりブロックされましたが、インデックスに登録しました”がでる理由

これが出る理由は「robots.txtでブロックしているのに、他のページから内部リンクが張られている」からです。

ブロックしていますが、クロールはインデックスできちゃってますよ。

とGoogleが警告してくれているので、

 Google サーチコンソール>カバレッジの画面
Google サーチコンソール>カバレッジの画面

「有効(警告あり)」と矛盾する表現になっています。

該当ページは「インデックスされていますが、そのページの中身は見れない」ため、ブラウザ検索しても「このページの情報はありません」と表示されます。

スポンサーリンク

解決方法

理由がわかったので、解決方法をみていきましょう。
手順は以下になります。

① サイトにあるrobots.txtをダウンロードする
② メモ帳などのtxtエディターで修正する
③ 修正したrobots.txtをサイトにアップロードする
④ robots.txtテスターで確認する
⑤ Google サーチコンソールの[修正を検証]ボタンを押す

②メモ帳などのtxtエディターで修正する
④ robots.txtテスターで確認する
⑤ Google サーチコンソールの[修正を検証]ボタンを押す

の3つは少し説明が必要ですので補足します。

まず「②メモ帳などのtxtエディターで修正する」時に、該当ページをインデックス「させたい/させたくない」場合があります。

それぞれ何をすれば良いのかみてきます。

②メモ帳などのtxtエディターで修正する → インデックスさせたい場合

該当ページをインデックスさせたい場合は、

・robots.txtのブロックを外す=Disallowから対象フォルダやページを削除

をします。

インデックスさせたくない

該当ページをインデックスさせたくない場合は、

・noindexを対象ページに入れる
・robots.txtのブロックを外す=Disallowから対象フォルダやページを削除

の2つをやります。

ブロックしているのに、別のページからリンクすると、また”robots.txt によりブロックされましたが、インデックスに登録しました”になるので気を付けましょう。

これ、よくあります。

修正が終ったら、③修正したrobots.txtをサイトにアップロードします。

robots.txtテスターで確認

サイトにアップロードしたrobots.txtを、Google サーチコンソールを登録していると使える、④robots.txtテスターで確認します。

 robots.txtテスターの画面
robots.txtテスターの画面

画像下のtxtエリアにテストしたいURLを入力して、右にある[テスト]ボタンを押し問題がなければ、

① 画像下のtxtエリアにテストしたいURLを入力
② [テスト]ボタンを押す

[テスト]ボタンが許可済み

エラー数や警告数が0で[テスト]ボタンが許可済みとなればOKです。

修正の検証をリクエストする

問題がなければ、⑤Google サーチコンソールの[修正を検証]ボタンを押して、Googleに修正を検証してもらいます。

問題がなければ、以下のメールが届きます。

Google サーチコンソールの問題修正確認メール

数時間から数日、場合によっては数週間かかるので、気長に検証結果をまちましょう。

スポンサーリンク

まとめ

Google サーチコンソールの”robots.txt によりブロックされましたが、インデックスに登録しました”の解決方法を解説しました。

robotos.txtは、記述ミスをするとSEOの影響が大きくなるので、せっかく書いた記事をより多くの方に読んでもらうためにも、すぐにできる修正はやっておきましょう。

最後まで読んで頂きありがとうございました。

編集後記

WordPress+テーマを使うと、1からサイト構築しなくても細かい設定を気にせず記事作成ができますが、こういうものは、知識がないとわかりませんよね。Webマーケターのような職種でもない限り時間を割いても仕方がないですし。まぁ、気長にやっていきましょう。

スポンサーリンク
コバタケ@BizHack

ラジオパーソナリティー・2030SDGs認定ファシリテーター|『少人数×経営×IT×デザイン』をテーマに情報発信中。2019年から話す仕事、書く仕事をメインに再構築しています。現在アラフォーで住処は関西です。ITコンサルと開発マネジメントが得意で、中小零細企業や個人事業主、起業する人へ「これからの在り方」をサポートしています。

フォローして頂けるとブログ更新を見逃しません
\ よければシェアお願いします /
フォローして頂けるとブログ更新を見逃しません
BizHack
タイトルとURLをコピーしました