検索エンジンクローラーの分析

忍者アクセス解析やグーグルアナリティクス‥では、検索エンジンクローラーのアクセスは表示されません。
生ログ解析では、検索エンジンクローラーの巡回状況もチェックできます。

検索エンジンクローラーにはいろいろとあります。

• Yahooのウェブクローラー
• Googleのウェブクローラー
• MSNウェブクローラー
• infoseekのウェブクローラー
• 百度（バイドゥ）のウェブクローラー

等様々です。

ロボットクローラーだと、Agentを見ると
Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp
)
に示しているURLを参照すればどこのクローラーかわかるようになっているのがほとんどです。


• モバイル用クローラーについて