百度クローラー

百度（バイド）といえば中国の会社です。
一時、すざまじいウェブクローラーアクセスがありました。
毎日・毎日数千ページのアクセスがありました。
ブログの携帯ページは、CGIで吐き出しているのですが、他のウェブクローラーと重なると、かなりの負荷になったのです。
robot.txtで、巡回拒否・頻度を下げても反映されるまで時間がかかるようでした。すぐに反映されるサイトもあれば、しばらくたっても反映されなかったサイトもありました。
そこでメールにて対応要請。関西人曰く。これはクレーム！
対応は素早かったです。

サーバー全体で巡回の頻度を下げてもらいました。

クローラーを許可してても
百度経由での閲覧者は・・
無きに等しい。
でも世界では第3位のシェアを誇るらしい。

• Baiduspider+(+http://www.baidu.com/search/spider_jp.html)

host（多分他にもあり

• ip-122-152-140-173.asianetcom.net
• ip-122-152-129-53.asianetcom.net
• ip-122-152-128-49.asianetcom.net
• ip-122-152-129-54.asianetcom.net
• ip-122-152-128-48.asianetcom.net
• ip-122-152-128-37.asianetcom.net