Yahoo（YST）のクローラーの分析

アクセスログの極意

サーバーの生ログ・アクセスログを参考にして、マーケティング分析をしましょう。私は無料のソフトを活用して分析しています。

| HOME | 検索エンジン | Yahoo（YST）のクローラー |

Last updated 2008-05-15

書籍

私のサイトで、巡回に来ているyahooのロボットエンジンクローラーは下記のような感じです。AgenｔにフィルタをYahooに関係するのを抜粋しました。モバイル用、パソコン用、研究用、サイトマップ登録用様々です。これは、頻繁に変動するのだ＾＾；

Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)
Nokia6682/2.0 (3.01.1) SymbianOS/8.0 Series60/2.6 Profile/MIDP-2.0 configuration/CLDC-1.1 UP.Link/6.3.0.0.0 (compatible;YahooSeeker/M1A1-R2D2; http://help.yahoo.com/help/us/ysearch/crawling/crawling-01.html)
DoCoMo/2.0 SH902i (compatible; Y!J-SRD/1.0; http://help.yahoo.co.jp/help/jp/search/indexing/indexing-27.html)
KDDI-CA33 UP.Browser/6.2.0.10.4 (compatible; Y!J-SRD/1.0; http://help.yahoo.co.jp/help/jp/search/indexing/indexing-27.html)
Vodafone/1.0/V705SH (compatible; Y!J-SRD/1.0; http://help.yahoo.co.jp/help/jp/search/indexing/indexing-27.html)
Mozilla/5.0 (compatible; Yahoo! Slurp/3.0; http://help.yahoo.com/help/us/ysearch/slurp)
Yahoo! Slurp/Site Explorer
Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322; .NET CLR 2.0.50727; InfoPath.1; Lunascape 4.3.3; Yahoo!Auction)

私は集計して、精度を高めて分析しています。
100％とは抜粋できているとは思わないけど、分析できるぐらいまでは、フィルタをかけれる。