ユーザーが目にする(表示の完了した)ブラウザ画面の目線の流れとスパイダーが情報収集する目線の流れは根本的に違うということを理解してください。
人間の目線は最初にモニターの中央に集約される傾向があるようですが、スパイダーはソースの上から順番に辿ってきます。
- ヘッター情報を解析し、不自然なところがないか吟味します。
- ボディ要素内をヘッター情報と照らしあわせ、情報収集します。
- アンカー及びそのテキストや飛び先。テキストの重要性や論理構造からそのサイトやページの在り方などの情報を収集し、持ち帰ります。
かなり大雑把ですが、基本の動きはこのようなカタチではないかと多くの方が推測しています。 |