Googleは検索結果に有益なページを表示するために、日々膨大な量のページを巡回しています。
この行為をクロールと呼び、頻度が高いほどGoogleにとってそのサイトの信頼性が高く、重要性があると認識されます。そのため、企業のWebサイトにとってクロール頻度の向上は、SEOの観点からも重要です。
この記事では、クロールの概要や頻度を確認する方法について詳しく解説していきます。SEO対策の効果を向上させたい方は、ぜひ参考にしてください。
目次
Googleのクロール頻度とは？
クロールの頻度とは、Googleのロボット（クローラー）がWebサイトを訪れる頻度です。なお、Webサイトごとにクローラーが訪れる頻度が異なります。そのため、クロールの頻度が高いサイトと低いサイトでは、SEO対策において大きな差が生まれます。
GoogleはクロールによってWebページの内容を理解し、検索結果に反映させています。
たとえば即時性のあるブログを公開した際に、クロール頻度が高いサイトのページは、すぐ検索エンジンに認知される可能性が高いです。
一方クロール頻度の低いサイトは、検索エンジンがページを見つけるまでに数日かかることもあります。表示された頃には情報の鮮度が落ちてしまい、ユーザーを大きく取りこぼす可能性があるのです。
クロール頻度の向上はSEO対策において必須の項目であるため、少しでも向上させる必要があります。
クロール頻度の2つの解釈
Googleのクロール頻度は、大きく分けて以下の2つの解釈があります。
- GoogleのクローラーがWebサイトを訪れクローリングする頻度
- クローリング時にクローラーがリクエストを送信する1秒あたりの回数（速度）
それぞれ詳しく解説します。
クロール巡回頻度
クロール巡回頻度とは、自身のWebサイトにGoogleのクローラーが訪れる頻度のことです。本記事でもクロール頻度をメインに解説しており、基本的にGoogleのクロール頻度といえばこちらの意味を指します。
Googleのクローラーは、以下のような流れで各Webサイトを巡回し、収集した情報をもとに検索結果へと反映させています。
- クローラーがWebサイトを巡回する
- サイトの情報をインデックス登録しデータベース化する
- 検索クエリに対しデータベースから適切な回答を探し出し提示する
また、Googleのクローラーがサイトを訪れる頻度は、一定ではありません。コンテンツ量や更新頻度、アクセス状況によりサイト間で異なります。
とはいえ、一般的にはコンテンツ量や更新頻度が多く、ユーザーからのアクセスを得られているサイトほど巡回頻度は高くなります。
しかし、GoogleのクローラーはすべてのWebサイトを巡回できる訳ではありません。できるだけ効率よく、適切な情報を取得するためにも、必然的にGoogleの評価が高いサイトを優先して巡回しています。
クロール速度
クロール速度とは、クローラーがサイトをクローリングする際の1秒間あたりのリクエスト数のことです。クロール速度の解釈でのクロール頻度については、Googleサーチコンソールのヘルプページにも詳細が記載されています。
なお「Google クロール頻度」のキーワードで検索すると、検索結果には「クロール速度」でのクロール頻度の解釈が強調スニペットで表示されます。
しかしながら、「Google クロール頻度」のキーワードで検索するユーザーの多くは、クロール速度よりも巡回頻度のことを知りたでしょう。
そのため本記事ではクロールの巡回頻度の他に、もう1つの解釈であるクロール速度についても触れています。
また、Googleサーチコンソールのヘルプページではクロール頻度の設定変更について記載されていますが、基本的には変更せずにデフォルトでの利用をおすすめします。変更するとクロールの実行に制限がかかり、クロールできる情報量が減る可能性があるためです。「サイトに合わせて自動的に最小化する（推奨）」の、デフォルト設定のままで問題ありません。
Googleがクロールの頻度を決定する仕組み
クロールの頻度が決定する仕組みには、以下2つの要素が関係しています。
- クロールバジェット
- クロールの必要性の有無
それぞれ詳しく解説していきます。
クロールバジェット
クロールバジェットとは、Googleが1つのWebサイトに対してクロールできる上限のことです。
GoogleはWebサイトにアクセスするユーザーの利便性を損なわないようにしています。そのためクロールバジェットにより、サイトごとにクロールの最大速度が制限されています。
クロールバジェットは、クローラーが使用可能な同時並行接続の数や、次回の取得までに必要な待ち時間を表し、以下の2つの要因によって変動します。
Googlebotのクロールの割り当てについて｜Google検索セントラル
- クロールの状態: しばらくの間サイトが迅速に応答している場合はクロール頻度の上限が上がるので、クロール時に使用可能な接続の数が増えます。サイトの応答が遅くなった場合やサーバーエラーが返された場合はクロール頻度の上限が下がり、Googlebot によるクロールが減ります。
- Search Console で設定された制限: ウェブサイトの所有者は、自身のサイトが Googlebot にクロールされる回数を減らすことができます。ただし、クロール頻度の上限を高く設定しても、自動的にクロールが増えるわけではありません。
クロールバジェットが多ければ多いほど、Googleはそのサイトを頻繁にクロールするようになります。
クロールの必要性の有無
クロールバジェットが上限に達していなくても、検索結果に表示する必要がないサイトだと判断されれば、クロールの頻度は下がります。
Googleは、サイトのクオリティや更新頻度に基づいてクロール頻度を決定しており、特に重要な要素が以下の2つです。
- 人気度
- ドメインの運営期間
人気の高いサイトほど、Googleのデータベースに新しい情報を登録できるように、クロールが頻繁に行われます。また運営期間が長いWebサイトも、古い情報が上書きされて無効になるのを防ぐためにクロール頻度が高くなる傾向にあります。
一方で以下のようなサイトはクロール頻度が低くなる傾向にあるため、注意が必要です。
- 更新頻度が低い
- コンテンツの質が悪い
- 運営期間が短い
クロールをリクエストするタイミングや手順について詳しく知りたい方はこちらをご覧ください＞＞＞Googleにクロールをリクエストするタイミングや手順を解説
Googleのクロール状況を確認する方法
自社サイトのクロール状況は、以下の2つの方法で確認できます。
- Googleサーチコンソールの確認
- サーバーログの確認
- APIの活用
それぞれ詳しく解説していきます。
Googleサーチコンソール
Googleサーチコンソールでは、2つの方法でクロール状況を確認できます。
クロールの統計情報
クロールの統計情報では、以下の流れでWebサイト全体のクロール状況が確認できます。
- Googleサーチコンソールを開く
- サイドメニューの「設定」をクリック
- 「クロールの統計情報」項目の「レポートを開く」をクリック
クローラーがサイトを訪れた頻度や時期、クロールされたページ数などを把握できます。
また、対象ファイルの種類やサーバーの応答速度、エラーなど細かい項目まで確認可能です。とくに、エラーは放置するとクロール頻度の低下につながるため、定期的にチェックして改善しましょう。
URL検査
URL検査では、特定のURLのインデックス状況を以下の流れで把握できます。
- Googleサーチコンソールを開く
- 上部の検索窓に検査したいURLを入力して検索
- 「ページのインデックス登録」の項目を開く
直近のクロール訪れた日時や流入したクローラーの種類や経路などが確認できます。ページ単位でしか調査できませんが、シンプルでわかりやすいデータが得られます。
Googleサーチコンソールについて詳しく知りたい方はこちら＞＞＞Googleサーチコンソールとは？使い方・導入方法を解説
サーバーログの確認
自社サイトを格納しているサーバーのログから、クローラーが訪れた日時や対象ファイルを確認できます。Googleからの要求に対して、サーバーが正しく応答しているかを直接確認することで、より細かい分析が可能です。
しかし、実行にはクローラーを特定するためにユーザーエージェントの絞り込みを行なったり、ソースを読んだりと専門知識が必要です。
APIの活用
APIを活用すれば、通常のURL検査では時間がかかるようなケースでも効率よく作業可能です。
APIとは「Application Programming Interface」の略で、ソフトウェアアプリケーション同士が相互にやり取りするための仕組みのことです。
GoogleSearchConsoleのAPI「Inspection API」を活用すれば、複数URLの検査結果もスムーズに取得できます。Googleスプレッドシートと連携させれば、まとめて管理できるため便利でしょう。
APIの操作やコードを書くことに慣れている方には、おすすめの方法です。
Googleのクロール頻度を上げる方法
クロールの頻度を上げるには、以下の4つの方法が有効です。
- Googleサーチコンソールからリクエストを送信する
- XMLサイトマップを送信する
- サーバー応答を改善する
- コンテンツの品質を改善する
それぞれ詳しく解説していきます。
Googleサーチコンソールからリクエストを送信する
Googleサーチコンソールから、以下の流れで特定のページへのクロールをリクエストできます。
- クロールしてほしいページのURLを上部の検索窓に入力して検索
- 「インデックス登録をリクエスト」をクリック
新規のリクエストはもちろん、既存のページに変更を加えた場合にも再クロールを依頼できます。ただし必要以上にリクエストを送信すると、Googleからスパム行為とみなされる可能性があるため、適度な範囲での利用が大切です。
XMLサイトマップを送信する
XMLサイトマップは、Webサイトのページ構造を機械可読な形式で表現するものです。GoogleはXMLサイトマップを使用して、Webサイトをよりスムーズかつ効率的にクロールしています。
XMLサイトマップを作成して、以下の流れでGoogleサーチコンソールから送信すると、クロールを促進できます。
- サイドメニューの「サイトマップ」をクリック
- 「新しいサイトマップを追加」項目にXMLサイトマップのURLを入力
サーバー応答を改善する
Googleはクロールがサーバーに負荷をかけていると判断すると、クロール頻度を下げます。そのため、サーバーがGoogleのリクエストに安定したレスポンスを返せているかどうかも、重要なポイントです。
サーバーログを確認し、クロールやアクセス集中によるエラー速度低下があれば、改善によりクロール頻度が向上する可能性があります。
サーバーのスペックを上げる、プログラムの改善を行うなど、適切な対応をとりましょう。
コンテンツの品質を改善する
Googleは人気の高いサイトのクロール頻度を高くする傾向があります。そのため、コンテンツの品質を向上し、Webサイトが人気になればクロールの頻度も高まります。
コンテンツの質を向上させるには、以下の方法が効果的です。
- 独自の情報を記載する
- 重複コンテンツを避ける
- 最新の情報を記載する
- 関連する媒体からの流入経路を増やす
ただし、質の良いページを追加すればそれだけでクロール頻度が向上する訳ではありません。
良質なコンテンツを継続して提供することで、徐々にGoogleからサイトが評価されてクロール頻度が高まるため、根気強く続けましょう。
関連記事：E-E-A-Tとは？SEOで重視される理由と対策方法を解説
Googleのクロール頻度を下げる方法（非推奨）
SEO上は必要ありませんが、反対にGoogleのクロール頻度を下げることも可能です。Googleのクロール頻度が原因でサーバーダウンが起きる場合などに効果的です。
なんらかの理由でクロール頻度を下げたい場合は、Googleサーチコンソールの専用ページにて設定できます。
ただしGoogleのクロール頻度を下げる行為は、当然ながらデメリットや注意点が存在します。
Googleのクロール頻度を下げる際の注意点
Googleのクロール頻度を下げる場合、以下のようなデメリットを伴います。
- 新規ページのインデックスに時間がかかる
- 既存ページに対するインデックス更新頻度の低下
- 削除済みページがインデックスに長く残る
- クロール頻度を下げると戻すまでに時間がかかる
一度クロール頻度を下げてしまうと、回復するまでに時間がかかる点には注意が必要です。最悪の場合、元に戻せない可能性があることも考慮し、慎重に判断しましょう。
Googleのクロール頻度でよくあるQ&A
Googleのクロール頻度について、よくあるQ&Aをまとめました。SEO対策で結果を残すには、クロール頻度に対する理解は必要不可欠です。
いずれもサイト担当者であれば知っておきたい内容ですので、確認して知識を深めましょう。
Webページがクロールされるタイミングは？
Webページがクロールされる具体的なタイミングは、残念ながら決まっていません。なぜなら、Googleが正式なアルゴリズムを公開していないためです。
ただしアクセス数が高く人気があるサイトや、更新頻度が高いサイトは優先的にクロールされる傾向が見られます。裏を返せば、更新頻度が低くアクセス数も低いサイトは、Googleからの評価が低いため巡回のペースも下がります。
クローリングされたタイミングはサーチコンソールで確認できるため、定期的に確認し対策を練りましょう。
Webページがインデックスされない原因は？
Webページがインデックスされない原因は、大きくわけて以下の3つです。
- ページがクロールされていない
- ページがクロールの対象ではない
- クロール対象のページだがインデックスされていない
当然ながらクローラーがサイトを訪問しなければ、インデックスされません。この場合は、GoogleサーチコンソールのURL検査ツールを使い、訪問を促しましょう。
また、ページがクロール対象ではない場合も、インデックスされません。プライベートなページやrobots.txtを設定しているページはインデックスされないため注意しましょう。
クロール対象ページにもかかわらずインデックスされない場合は、サイトの内容が検索エンジンに適していない可能性があります。
- ガイドライン違反
- 重複コンテンツ
- 誤った情報を記載
上記のようなコンテンツは、クロール対象ページであってもインデックスされません。なおGoogleのガイドラインは、Google 検索の基本事項（旧ウェブマスター向けガイドライン）で確認できます。
スパムに対するポリシーや、質の高いコンテンツを作るためのポイントなどが詳しく記載されています。サイト担当者であれば、必ず目を通し内容を理解しておきましょう。
クロール頻度が上がればサイトの評価も上がる？
クロール頻度に比例して、サイトの評価も上がる訳ではありません。
クローラーはアクセス数や更新頻度の多いページを優先的に巡回しますが、、あくまでもインデックスのためです。仮にクローリングをリクエストし巡回頻度が上がったとしても、ページの質が低ければGoogleの評価は上がりません。
検索クエリに対するニーズを深掘りし、ユーザーファーストのコンテンツを作成し続けることで、結果としてGoogleからの評価が上がり検査結果でも上位表示されやすくなります。
まとめ：Googleのクロール頻度を改善してインデックスを早めよう
クロール頻度の改善は、SEOにおいて重要です。頻度が低いと競合に遅れをとり、機会損失につながる可能性も高まります。
クロール頻度を上げるために仕組みを理解し、Googleサーチコンソールを確認して適切な対応をとりましょう。
SEO対策を外注しようとお考えの方はこちら＞＞＞【失敗しない】SEO対策を外注へ依頼する前にぜひ知ってほしい内容を徹底解説
SEO対策を外注する場合の費用相場について知りたい方はこちら＞＞＞SEO対策を代行業者へ依頼する場合の料金の相場は？
弊社SEOサービスランクエストではどんなお客様に対しても、予算状況に応じてSEOサービスを提供ができるように、「オーダーメイド型プラン」もご用意しております。お客様の課題や状況に合わせた最適なプランをご提案いたしますので、今後SEO代行業者をお探しになられる方は、ぜひ弊社サービスの内容をご覧ください。
株式会社eclore SEOコンサルタントチーム 責任者
新卒で入社しSEOの営業を年間300社以上行う。4年目でSEOコンサルチームに異動し、個人として約10社以上のコンサルをしている。マネジメントもしており、チームでは合計100サイト以上のSEOに関与。オールジャンル対応できるが、特に得意なのは歯科業界。SEOの先にある売上向上に目を向けて施策を行っている。
