Googlebotとは、あらゆるWebサイトのコンテンツ情報を収集するクローラーの総称です。新しくできたWebページがGoogleの検索結果に表示されるまでには、Googlebotが重要な役割を果たしています。
しかし、Googlebotの仕組みがよくわからない方も多いのではないでしょうか。
そこで本記事では、Googlebotの仕組みと検索結果に早くWebサイトを表示させるための対策を解説します。いち早く自社コンテンツを世に出して集客活動を促進したい方は、ぜひ参考にしてください。
＜SEO対策について詳しく知りたい方はこちら＞SEO対策とは？SEO対策のメリット・デメリットと対策方法を詳しく解説
目次
Google検索結果に表示されるプロセス
自社サイトで新しいページを作成し公開しても、すぐ検索結果に表示されるわけではありません。表示されるには、Googleが公開している次のステップを踏む必要があります。
- Googlebotがサイトをクロールする
- サイトがインデックスに登録される
- サイトが検索結果に表示される
それぞれ詳しく見ていきましょう。
Googlebotがサイトをクロールする
クローラーとはあらゆるWebページのテキスト、画像などコンテンツ情報を収集するプログラムです。
検索結果に表示されるには、まずクローラーに作成したページを訪問してもらわなければなりません。クローラーが巡回しなければ、Googleにページを作ったことが認知されないためです。
なお、クローラーを呼び込むには、申請などの手続きは必要ありません。コンテンツを作成し公開したら、クローラーが自動で訪れるのを待つのみです。
サイトがインデックスに登録される
クローラーがページの情報収集を終えると、集めたデータが検索エンジンのデータベースに登録（インデックス）されます。
インデックスされなければ、URLを入力して検索しても検索結果に表示されません。ユーザーの目に留まることがないため、作成したコンテンツは存在しないのと同じです。
検索結果に表示されるには、インデックスに登録されることが重要なのです。
サイトが検索結果に表示される
ページ情報がインデックスされると検索結果に表示されるようになります。新しいコンテンツを投稿したあとは、定期的にURLを入力して検索結果に出てくるか確認しましょう。
もしくはサーチコンソールでもインデックス状況を確認できます。
ただし、インデックスから検索結果に表示されるまでの期間は、正確には把握できません。これまでクローラーが訪問したことのない新しいサイトであれば、発見されるまでにより時間を要します。
Googlebotのインデックス登録を促進する対策3選
ここでは、Googleに早くインデックス登録されるために有効な対策を3つご紹介します。
どれも簡単な方法ですので、優先して表示させたいコンテンツがある場合や、既存のコンテンツをリライトした場合はぜひ試してみてください。
- 内部リンクの設置
- サイトマップの作成
- URL検査（サーチコンソール）
それぞれ詳しく解説します。
内部リンクの設置
新しいコンテンツを追加した場合は、関連性の高いページに内部リンクを貼りましょう。
Googlebotはクロール済みの検知しているサイトを辿って新しいページを巡回するため、ページ同士がつながっているとスムーズにクロールできます。
クローラーが行き来しやすくなれば、サイト全体のテーマや構造を検索エンジンに伝えるのにも役立ちます。クローラーが巡回しやすいサイトはユーザビリティが高いサイトと認識されるため、SEO評価も上がるのです。
サイトマップの作成
サイトマップはサイト全体の案内図です。企業のサイトであれば、訪れたユーザーが目的のページをすぐ見つけられるように掲載しているところが多いでしょう。
しかし、ユーザー用だけでなくGooglebot用にもサイトマップを作成しておくと、クローラビリティの向上に役立ちます。
サーチコンソールでXML形式のサイトマップを送信すると、検索エンジンにサイトの全体構造をまとめて知らせることができるのです。
URL検査（サーチコンソール）
サーチコンソールのURL検査ツールもおすすめです。インデックスしたいページのURLを入力すると、クローラーを呼び込むことができます。
ただしGoogleは、インデックス登録は必ずしも保証されるわけではないと公表しています。
まずユーザビリティを意識してサイト設計を行うことで、Googleから信頼を得られ、インデックス登録につながるといえるでしょう。
大量アクセスでクロール頻度を下げたい場合
Googleからの評価を上げるため、できるだけ早く自社サイトをクロールしてほしいと思うかもしれません。
しかし、頻繁にクロールされサーバー速度に影響が出るケースも見られます。そのような場合は、サーチコンソールを使ってクロール頻度を変更しましょう。
ただしこの設定は、Googleによってサーバー速度が低下している場合を除き、変更しないよう推奨されています。変更したクロール頻度は90日が経過するとデフォルト設定の「サイトに合わせて自動的に最適化する」に自動で戻ります。
Googlebotのなりすまし「User-Agent」の判定方法
大量アクセスの原因がGooglebot以外の不正アクセスという場合もあります。
さらに、不正IPアドレスは利用者のOSやブラウザを示すUser Agent（UA、ユーザーエージェント）をGooglebotなどの一見信頼できる媒体に偽装することもあるのです。
見た目では区別できないため、UAがなりすましなのかどうかを特定しましょう。Googleが推奨するのは、コマンドラインツールを利用する方法です。
不正疑惑のIPアドレスに対して、DNSリバースルックアップとDNSフォワードルックアップを行うことで、本物のGooglebotかそうでないかが判別できます。
- DNSリバースルックアップ：IPアドレスからドメイン名を調査すること
- DNSフォワードルックアップ：ドメイン名からIPアドレスを調査すること
リバースルックアップを実行してドメインを割り出し、次いでそのドメインでフォワードルックアップを実行します。
不正IPだった場合は、リバースルックアップを実行するとドメインが取得できません。調査したうえで、不正アクセスのIPはブロックするなどの対策を講じましょう。
Googlebotの特徴を理解しSEO対策に活かそう
Googlebotがクロールしやすいサイトは、ユーザビリティも高いといえます。ユーザー視点でサイト設計を行うことが、早く検索結果に表示される対策でありSEO対策にもつながるのです。
ぜひGooglebotを巡回させるコツや特徴を押さえて、サイト作成に活かしてみてください。
弊社のSEOサービス「ランクエスト」では、お客様ごとに専任のコンサルタントがつき、戦略立案からコンテンツ制作、効果測定まで、すべて対応いたします。SEO対策にお悩みの方は、お気軽にご相談ください。
株式会社eclore Web Director / Marketing Director
デザイン専門学校を卒業後、2012年に入社。Web領域を中心に、コーポレートや採用サイト、メディアサイトなどのデザイン、コーディング業務に従事。また、リスティングを中心とした広告運用も担当。SEO・広告の観点で優位性のあるWeb制作を得意としています。Web制作数 年間100以上 / 広告運用額 年間2億円以上。
