第３回　クローラーがしていること

クローラーがさまざまなサイトを巡回し、集めてきたサイトの情報は、

ページ　→　文脈　→　単語、の順にばらばらに分析され、そのページが、

「何について書かれているのか」
「どんなキーワードを含んでいるのか」
「どこからリンクされ、どこにリンクしているのか」

などの評価で、検索エンジンにデータベース化されます。

 

この検索エンジンに記憶され、データベース化された、サイトの情報のことを

「インデックス」と呼びます。

訪問者がキーワードを入力すると、検索エンジンは瞬時に、

そのキーワードに合ったサイトを探し、訪問者の目的に近いと思われる

順に並べ替えていきます。

 

つまり、検索結果に表示されるためには、

まず、自分のサイトが検索エンジンにインデックスされる必要があるのです。

　●　クローラーの巡回

クローラーは毎日、世界中のサイトを駆け巡っています。

クローラーが１日に１回程度来ただけでは、サイトの情報のほんの一部しか

収集されません。

 

だいたいの目安として、クローラーが１日に、６０回～８０回程度巡回してくれる

ようになると、ＳＥＯ効果が現れると言われています。

クローラーは、次の情報を手掛かりにサイトを巡回し始めます。

◆　過去に巡回したときにサイトから集めた情報

◆　サイト運営者から提供された「サイトマップ」に含まれた情報

 

そのため、新規に立ち上げたサイトやサイトマップを提供してくれない

サイトには、クローラーは来てくれません。

●　クロールの頻度を上げるには

クローラーと友達になって、自分のサイトを認識してもらい、

クロール頻度を上げるにはどうしたらよいのでしょうか。

クローラーに自分のサイトに来てもらう方法にはいくつかあります。

１　自分のサイト内で関連する記事をリンクしたりする
「内部リンク」を整備する。

２　他のサイトから自分のサイトにリンクをもらう
「被リンク」を整備する。

３「サイトマップ」を作成し、自分のサイトにどんなページが
あるのかを、 Google に認知してもらう。

４　記事の量が増えればクロールされる頻度も多くなる
可能性があるので、 頻繁に記事を更新する。

 

基本的には、上の１～４がクロール頻度を上げる有効な手段です。

これらの手段についての詳細は、また別の機会に書きたいと思います。

●　クローラーとインデックス

クローラーの仕事は、世界中のWebサイトの情報を持って帰ることです。

情報は検索エンジンに記録されます。（＝「インデックス」として登録される。）

インデックスとして登録されたデータは、次のようなデータを含んでいます。

◆　そのWebサイトがどんな情報を持っているか。

◆　どんな記事構成になっているか。

◆　どんな内容を含んでいるか。

検索エンジンは、インデックスのデータを瞬時に読み取ります。

そして、このインデックスに記録されたサイトだけが、

検索エンジンに表示される対象となるサイト、ということになります。

 

もし仮に皆さんのWebサイトがインデックスに登録されていないと、

どんなキーワードで検索しても、決してヒットしません。

 

次回は、自分のサイトがインデックスされているか調べる方法

について、画像をお見せしながら説明していきたいと思います。

 

 

 

 

 

 

 

 

 

 

---

---