クローリングとは？スクレイピングとの違いやSEO対策での意味を解説

フリーランス向けコンテンツ
公開日: 2022-07-04
更新日: 2023-12-20

現代のビジネスでは、検索エンジンの検索結果で集客が左右されてしまいます。そのため、クローリングについて理解をし、検索結果の上位に表示されるように対策をすることが重要です。この記事では、クローリングの意味やSEO対策における重要性、スクレイピングとの違いについても説明しています。確認をしていきましょう。

Contents

1 クローリングとは
2 クローリングとスクレイピングの違い
3 SEOにおけるクローラー対策とは
4 クローラーが収集する情報
- 4.1 HTMLで記述されたファイル
- 4.2 その他のファイルやリンク
5 まとめ

クローリングとは

クローラーというプログラムを用いてWebサイトなどを巡回し、Webページ上の情報を収集・保存することです。クローリングの語源は水泳のクロール（crawl）で、はって進む、のろのろ走る、こそこそ歩き回る、といった意味の単語です。クローラーがWebサイト内の情報を収集しながらゆっくりと、はいつくばるように回っている、とイメージできます。

クローリングが主に利用されているのはGoogleやYahoo!JAPANなどの検索エンジンです。クローリングをおこない情報を収集・保存しないと、検索エンジンで調べたいものを検索しても必要な情報にたどり着くことができなくなってしまいます。そのため、検索エンジンを利用するためにクローリングは欠かせない技術になっています。

クローラーについて

Webページ上の情報を収集・保存するプログラムでクローラー、スパイダー、bot（ロボット）などと呼称されています。また、クローラーは個人で開発することができ、クローリングをおこなうためのクローラーツールもさまざまな企業からリリースされています。一般的にはクローリング、クローラーと聞くと検索エンジンで利用しているものと考えられがちです。しかし、クローラーは検索エンジン以外でも利用することができるものです。

クローラーを開発するためには、プログラミング言語のRubyやPythonがなどが使われています。開発したクローラーはWebアプリケーションやWebサイト、企業システムなどで利用されます。クローラーを使えばデータ収集を自動でおこなってくれるため、効率的に業務をおこないたいときに作成されるケースが見受けられます。

クローラーの種類

検索エンジンごとに作られているクローラーをご紹介します。

・Googlebot：Google

・Yahoo! Slurp：Yahoo!（日本のYahoo!JAPAN以外の国のYahoo!）

・Baiduspider：Baidu（漢字表記は百度、中国の検索エンジン）

・Bingbot：Bing（Microsoftの検索エンジン）

・YandexBot：Yandex（ロシアの検索エンジン）

・Yetibot：NAVER（韓国の検索エンジン）

・duckduckgo-favicons-bot：DuckDuckGo（アメリカの検索エンジン）

日本のYahoo!JAPANは2011年からGoogleの検索サービスをカスタマイズしているため、独自のクローラーは開発されていません。また、上述したようにクローラーは検索エンジンだけで使うものではなく、Yahoo!ショッピングのWebサービスではY!J-BRK/1.0、Apple社のSiriやSpotlightなどの検索候補を出す際にはApplebotというクローラーが使われています。

iPhoneのホーム画面から下にスライドすると出てくる、Spotlightの検索画面

クローリングはWebサイトを巡回する技術

クローラーがWebサイト内を巡回し、情報を収集・保存するクローリングは検索エンジンやWebアプリケーション、Webサイトなどのシステムで使われています。検索エンジンでは必須のもの、Webアプリケーションなどではあると便利なものであると覚えておきましょう。

クローリングとスクレイピングの違い

スクレイピングとは、Webサイトなどから特定の情報を抽出・整形・解析するプログラムのことです。英語ではScrapingと書き、こすること、削ること、削り落としたものといった意味があります。集めた情報を削り、必要なものだけを取り出すイメージです。

クローリングがデータの収集・保存を目的としているのに対して、スクレイピングは集めた情報を抽出する、目的に沿ったものだけを集める、というところに違いがあります。しかしながら、この定義が絶対的な正解というわけではなく、情報によってはクローリングとスクレイピングを同一のものとしている場合もあります。また、クローリングと同じくRubyやPythonなどで開発し、Webサイトなどに実装することができます。

SEOにおけるクローラー対策とは

SEO（Search Engine Optimization）とは、日本語で『検索エンジン最適化』といい、GoogleやYahoo! JAPANなどの検索エンジンでWebサイトが上位検索されるように対策をすることで、クローラー対策はSEO対策の一環になっています。

クローラー対策の説明をする前に、Webサイトがどのように検索エンジンで表示されているかを確認しておきましょう。

①検索エンジンのクローラーがWebサイトを巡りWebページの情報を収集

②収集したWebページの情報をデータベースに整理・保管

③検索エンジンのアルゴリズムにのっとり、Webページの内容を確認・評価

④Webページの情報が検索エンジンの評価基準をクリアしていた場合のみ、検索結果にWebサイトを表示させる

Webサイトが検索エンジンにクローリングされ、検索結果に表示されるには上記の流れを経なければなりません。

クローラー対策をしっかりとおこない、検索画面の上位に表示されるようになれば人の目に触れる機会が多くなります。Webサイトは個人、企業問わず何かしらの目的を持って作成されているので、目的を達成するためにもまずは検索エンジンに認知・評価され、検索結果に表示される必要があります。

Googleの検索アルゴリズムに対応することが重要

アルゴリズムとは英語でalgorithmと書き、計算法を意味します。検索エンジンでのアルゴリズムとは、評価基準を設け計算をし、表示の可否や順位を決めるためのプログラムということができます。

Web分析サービスを提供しているStatcounter社では検索エンジンのシェアを簡単に調査できるようになっており、世界No.1シェアはGoogleで92.48%の利用率となっています。（2022年6月27日現在）

出典：Search Engine Market Share Worldwide | Statcounter Global Stats

日本でのシェアNo.1はGoogleの76.39%、No.2はYahoo! JAPANの16.22%です。

出典：Search Engine Market Share Japan | Statcounter Global Stats

上述したように、Yahoo! JAPANはGoogleの検索サービスをカスタマイズしているので、日本ではGoogleのクローラーが92.61%のシェアを持っていることになります。そのため、クローラー対策としては、200以上の評価項目があるといわれているGoogleの検索アルゴリズムに確認・評価されやすいものを作ることが重要になります。

しかしながら、専門家などの詳細な評価項目の予測はあるものの、Googleの検索アルゴリズムの基準は非公開になっています。

集客効率UPが目的

インターネット上に存在しているWebサイトは、企業や学校などのコーポレートサイト、商品やサービスの魅力を伝えるブランドサイト、求職情報を発信するリクルートサイトなど、9つの種類があるといわれています。これらのWebサイトの目的は、インターネットを通して集客し、最終的には自社関連のサービスや商品を利用、購入してもらうといっても過言ではありません。

加えて、個人ブログを運営している人などは、ブログ運営を通してアフィリエイトなどの広告収入を得るか、自分で作った教材やオンラインサロンなどでマネタイズをしています。そのような理由から、完全に趣味のブログを運営している人以外では、インターネット上のほとんどのサイトは企業や個人の収入につながっていくといえるでしょう。

クローラー対策をおこない検索エンジンで上位検索されることは、インターネットからの集客効率が上がることにつながります。そのため、Web集客が広がっているビジネスの世界では、検索エンジンで検索上位に表示されることがとても重要になっています。

訪問してほしいページをクローラーに伝える

Webサイトを作っても、検索エンジンにクローリングされず、検索結果で表示されなければ人の目に触れることが難しくなります。検索結果で表示されなければ、URLを知っている人しかWebサイトに訪問することができないからです。そのため、Googleサーチコンソールに訪問してほしいWebページを伝えたり、XMLサイトマップを伝えたりして、検索結果に表示されるように促すことも必要になってきます。

URL検査

GoogleサーチコンソールというGoogle検索の分析ツールに登録し、URL検査をすると、対象のWebページがGoogleの検索結果で表示されているか否かがわかります。

Googleサーチコンソールにログイン

URL検査を実施し、登録済みだった場合はGoogleの検索結果で表示されていることになります。

検索結果で表示されていない場合は、表示を促すために『インデックス登録をリクエスト』します。

テスト中

リクエスト完了

GoogleサーチコンソールでURL検査、インデックス登録をリクエストしない場合、長い期間クローリングされず検索結果に反映されない可能性があります。新しいWebページを公開した際はURL検査をおこなって確認し、登録されていない場合はリクエストをしましょう。

XMLサイトマップを送信する

XMLサイトマップとは、検索エンジン向けにWebサイト全体のWebページの構成をわかりやすく記載したものです。Webサイトの規模が大きかったり、JavaScriptなどでリッチで動的なWebサイトを開発していたりすると、検索エンジンがクローリングをする際にすべてを検出できず、抜け漏れが発生する場合があります。

出典：サイトマップの概要 | Google 検索セントラル | ドキュメント

公式サイトの内容に該当するWebサイトの場合はXMLサイトマップを送信し、Googleのクローラーにしっかりと認識してもらうようにしましょう。

Googleサーチコンソールにログインし、『サイトマップ』からXMLサイトマップを送信することができます。

また、サイトマップにはHTMLとXMLがあります。これらは大まかに、HTMLサイトマップは人が見てわかるためのもの、XMLサイトマップは検索エンジンに送信してわかってもらうためのものと区別できます。XMLサイトマップは自分で作成する必要がありますので、Googleの公式ページを確認してみてください。