“robots.txt によりブロックされましたが、インデックスに登録しました”の解決方法【Google サーチコンソール】

※この記事は、サイト管理者向けです。
本ブログBizHackのサイト管理者コバヤシ（@BizHack1）です。

今回は、Google サーチコンソールから“robots.txt によりブロックされましたが、インデックスに登録しました”が出た時にどうすれば解決するのかを解説します。

Googleサーチコンソールとは？

Google サーチコンソールは、サイトやブログがGoogle検索上で、

など、運営する時に参考にできる便利なツールです。

サイト内部のアクセス状況を解析できる、Googleアナリティクスと連携して使うことで、サイト改善に大いに役立ちます。

robots.txtとは？

robots.txt は、検索エンジンに対して、

という、クロールをこちらから制御するものです。

例えば「購入者限定のpdfファイルは検索されたくない」や「画像がパクられるのがイヤだ」という場面で、robots.txtで指定しておけば防ぐことが出来ます。

“robots.txt によりブロックされましたが、インデックスに登録しました”がでる理由

これが出る理由は「robots.txtでブロックしているのに、他のページから内部リンクが張られている」からです。

ブロックしていますが、クロールはインデックスできちゃってますよ。

とGoogleが警告してくれているので、

「有効（警告あり）」と矛盾する表現になっています。

該当ページは「インデックスされていますが、そのページの中身は見れない」ため、ブラウザ検索しても「このページの情報はありません」と表示されます。

解決方法

理由がわかったので、解決方法をみていきましょう。
手順は以下になります。

②メモ帳などのtxtエディターで修正する
④ robots.txtテスターで確認する
⑤ Google サーチコンソールの[修正を検証]ボタンを押す

の3つは少し説明が必要ですので補足します。

まず「②メモ帳などのtxtエディターで修正する」時に、該当ページをインデックス「させたい／させたくない」場合があります。

それぞれ何をすれば良いのかみてきます。

②メモ帳などのtxtエディターで修正する → インデックスさせたい場合

該当ページをインデックスさせたい場合は、

をします。

インデックスさせたくない

該当ページをインデックスさせたくない場合は、

の2つをやります。

ブロックしているのに、別のページからリンクすると、また”robots.txt によりブロックされましたが、インデックスに登録しました”になるので気を付けましょう。

これ、よくあります。

修正が終ったら、③修正したrobots.txtをサイトにアップロードします。

robots.txtテスターで確認

サイトにアップロードしたrobots.txtを、Google サーチコンソールを登録していると使える、④robots.txtテスターで確認します。

画像下のtxtエリアにテストしたいURLを入力して、右にある[テスト]ボタンを押し問題がなければ、

エラー数や警告数が0で[テスト]ボタンが許可済みとなればOKです。

修正の検証をリクエストする

問題がなければ、⑤Google サーチコンソールの[修正を検証]ボタンを押して、Googleに修正を検証してもらいます。

問題がなければ、以下のメールが届きます。

数時間から数日、場合によっては数週間かかるので、気長に検証結果をまちましょう。

まとめ

Google サーチコンソールの”robots.txt によりブロックされましたが、インデックスに登録しました”の解決方法を解説しました。

robotos.txtは、記述ミスをするとSEOの影響が大きくなるので、せっかく書いた記事をより多くの方に読んでもらうためにも、すぐにできる修正はやっておきましょう。