Webサイトを更新したときや、新しいページを追加したときには、Googleのクローラーに訪れてもらう必要があります。
しかし、クロールの訪問を促す方法が分からない方もいるでしょう。
そこで今回は、Googleにクロールをリクエストする手順をご紹介します。
クローラーが巡回しやすいサイトにする方法もまとめているため、Web集客をお考えの方はぜひ参考にしてください。
目次
Googleのクローラーとは？仕組みやSEOとの関係
Googleのクローラーとは、Webサイトを巡回する検索エンジンのロボットのことです。検索エンジンごとに種類が異なり、Googleで使われるクローラーはGooglebotと呼ばれています。
クローラーは下記のようなファイルから情報収集を行い、検索アルゴリズムのデータとして利用します。
- HTML
- テキストファイル
- CSSファイル
- JavaScriptファイル
- 画像
これらのデータは、Googleが検索順位を決定する材料となります。したがって、クローラーにWebサイトの情報を適切に伝える必要があるのです。
ページをインデックスされるためにはクローラーが必要
Googleのデータベースに登録されることをインデックスといいます。インデックスは「索引・見出し」という意味を持ち、ユーザーがページを見つけやすいよう情報を保管する仕組みが備わっています。
データベースにインデックスされなければ、検索結果に表示されません。そのため、キーワードで検索してもページが表示されず、ユーザーの検索流入が見込めません。
インデックスされるにはまず、クローラーがサイトを訪れ、情報を精査する手順を踏むこととなります。
クローラーとSEOの関係
SEO対策を講じるうえで、Googleにコンテンツの内容を評価してもらう改善が必要です。
ただしクローラーに訪れてもらわなければ、どんなに良いコンテンツも検索結果に表示されません。したがって、クローラーが情報を集めやすいサイト構造にし、適切に内部リンクを設置するなどの工夫が必要になります。
サイト設計を整えることで、定期的にクローラーが訪れやすくなり、SEOに好影響をもたらすのです。なお運営状況によっては、待っていてもクロールされないケースがあります。そのようなときはサイト全体の改善も必要でしょう。
【関連記事】
Googleインデックス登録とは？登録方法やリクエスト方法を徹底解説
Googleにクロールをリクエストするタイミング
Googleにクロールをリクエストするタイミングは主に2つです。
- サイトにページを追加したとき
- 既存のページを更新したとき
サイトにページを追加したら、新しいコンテンツを検索結果に表示させるために、クローラーを呼び込みましょう。
また、既存のページのリライトを行った場合も同様です。ページを更新しただけでは、検索結果上でデータが反映されません。
上記に該当する場合は、クロールのリクエストを送信してください。
Googleにクロールをリクエストする方法
Googleにクロールをリクエストする方法は下記の2つです。
- URL検査ツールを使う
- XMLサイトマップを送信する
それぞれの方法を詳しく解説します。
URL検査ツールを使う
GoogleサーチコンソールのURL検査ツールから、クロールのリクエストを送信できます。
Googleサーチコンソールにアクセスしたら、上部に表示されるURL検査の窓に該当のページURLを入力します。
すると、インデックスの登録状況が表示されるため、「インデックス登録をリクエスト」をクリックしましょう。
上記の手順で、リクエストの送信が完了です。
XMLサイトマップを送信する
XMLサイトマップとは、検索エンジンにWebサイトの内容を伝えるためのファイルです。XMLサイトマップを作成することで、検索エンジンにサイト構造を伝えられ、新しいページを素早く伝達できます。
作成方法は自動生成ツールを使うか、WordPressのプラグインを使う場合の2通りがあります。XMLサイトマップが完成したらWebサイトにアップロードし、Googleサーチコンソール上で登録すれば手順が完了です。
参照：サイトマップについて | Google 検索セントラル
Googleのクロール頻度を確認する方法
クロールされる頻度はおよそ3日〜4週間が目安とされています。あまりにも目安とかけ離れている場合は、改善が必要でしょう。
クロール頻度を確かめるには、GoogleサーチコンソールのURL検査ツールを使います。URLを入力すると、インデックス登録されているページの詳細が見られるため、ここで「前回のクロール」の欄を確認しましょう。
最後にクローラーが訪れた日付から、日数が経過している場合は、次で紹介する改善ポイントを参考にしてください。
クローラビリティを改善するポイント
クローラビリティとは、クローラーがWebサイトで情報を集めやすくするための施策のことです。下記のポイントを踏まえクローラビリティを改善することで、ページがインデックスされやすくなります。
- 内部リンクを適切に設置する
- 記事数を充実させる
- ディレクトリ構造を深くしない
- パンくずリストを設置する
- ページスピードを改善する
それぞれのポイントを参考に、サイト改善を図りましょう。
内部リンクを適切に設置する
クローラーは、サイト内のリンクを経由して巡回していきます。そのため、内部リンクを整備することで、スムーズにサイト内を移動できます。
ただし、ページ同士の関連性も評価基準の一つのため、無造作に内部リンクを設置するのはやめましょう。
記事数を充実させる
コンテンツを増やすことも、クローラビリティを高める手段です。定期的な更新が行われるサイトには、クローラーも高頻度で訪れやすくなります。
そのため新規記事を増やしたり、既存のコンテンツに新しい情報を付け加えたりする施策が効果的です。また、品質の高い記事を充実させることで、サイト全体の評価に良い影響をもたらします。
関連記事：コンテンツSEOとは？現役SEOコンサルタントが徹底解説
ディレクトリ構造を深くしない
記事を増やす際、ディレクトリ構造を深くしないことがポイントです。トップページが第1階層で、その下の第2・第3階層にメディアの記事ページが存在します。
この階層を深くしすぎるとサイト内の構造が複雑になり、クローラーに情報が伝わりにくくなります。目安として3クリック以内で、すべてのページに到達できるような設計にしましょう。
関連記事：SEOに強いディレクトリ構造とは？設計のポイントや最適化のメリットを解説
パンくずリストを設置する
パンくずリストの設置も、クローラビリティの向上に有効です。Webサイトの構造を視覚的に分かりやすくしたものが、パンくずリストです。
「トップページ＞SEO＞SEO基礎知識」のような形で表示され、クローラーやサイトを訪れたユーザーに現在地点を伝える役割を持ちます。規模が大きいサイトほど複雑化しやすいため、設置の必要性が高くなります。
関連記事：パンくずリストとは？SEO対策での役割や設置のポイントをご紹介！
ページスピードを改善する
ページスピードの改善を図ることで、クローラビリティの向上につながります。サイト内にある画像やCSSなどのファイルサイズが大きいと、クローラーがページを読み込む際に負荷がかかります。クロールの速度にも影響するため、データの取得が中断することも考えられるでしょう。
ファイルサイズを軽くすることで、読み込み速度を改善できます。ページスピードの改善はクローラビリティだけでなく、ユーザビリティの向上にもつながるため、積極的に取り組みましょう。
関連記事：ページスピードインサイトとは？点数の測定や改善方法を解説
Googleにクロールさせないための方法
クロールさせたくないページがあるときは、下記3つの方法で対処できます。
- robots.txtを使う
- noindexを使う
- Basic認証を使う
それぞれ解説していきます。
robots.txtを使う
robots.txtとは、アクセスとクロールを許可するかについて検索エンジンに伝えるファイルのことです。robots.txtを設定したページはクロールされません。コンテンツごとに設定することで、クローラーの巡回を制御できます。
クローラーにページ内容を知られることなく、インデックスさせたいコンテンツに誘導する方法です。
関連記事：robots.txtとは？機能や目的・活用方法を解説
noindexを使う
クロールはされてもインデックスされないのがnoindexです。したがって、クローラーの巡回自体をブロックしたい場合には向いていません。
noindexを設定すれば検索結果に反映されることはないため、インデックスのみ拒否したい場合に利用しましょう。
関連記事： noindexタグとは？設定する時の注意点やSEOへの影響を解説
Basic認証を使う
Basic認証は、Webサイトにアクセス制限をかける方法です。設定されたページは画面に認証ダイアログが表示され、正しい値を入力すればアクセスできます。
クローラーの巡回も拒否でき、特定の人だけにアクセスさせたい場合に適しています。
まとめ：クローラビリティの向上でインデックス速度を高めよう
新規記事を更新したときや、コンテンツを更新した際は、忘れずにクロールのリクエストを行いましょう。また、定期的に更新されるWebサイトはクローラーが訪れやすいため、SEOに好影響をもたらします。
クローラーが回遊しやすいサイト設計を意識することで、ユーザーの利便性向上にもつながります。記事内で紹介したポイントを踏まえ、クローラビリティの向上に取り組んでください。
SEO対策を外注しようとお考えの方はこちら＞＞＞【失敗しない】SEO対策を外注へ依頼する前にぜひ知ってほしい内容を徹底解説
SEO対策を外注する場合の費用相場について知りたい方はこちら＞＞＞SEO対策を代行業者へ依頼する場合の料金の相場は？
弊社SEOサービスランクエストではどんなお客様に対しても、予算状況に応じてSEOサービスを提供ができるように、「オーダーメイド型プラン」もご用意しております。お客様の課題や状況に合わせた最適なプランをご提案いたしますので、今後SEO代行業者をお探しになられる方は、ぜひ弊社サービスの内容をご覧ください。
株式会社eclore SEOコンサルタントチーム 責任者
新卒で入社しSEOの営業を年間300社以上行う。4年目でSEOコンサルチームに異動し、個人として約10社以上のコンサルをしている。マネジメントもしており、チームでは合計100サイト以上のSEOに関与。オールジャンル対応できるが、特に得意なのは歯科業界。SEOの先にある売上向上に目を向けて施策を行っている。
