Twiceler-0.9

agentで
Mozilla/5.0 (Twiceler-0.9http://www.cuill.com/twiceler/robot.html)
というクローラーが回ってくる。
結構アクセスがあったので、拒否してやったり。
一日○千とアクセスがあったので・・

調べていると、アメリカのcuillって会社らしい。
新しい検索エンジンを開発してるって書いているようだ。

ようわからんが、無駄な転送量・サーバー負荷はしない主義なので拒否。

ちゃんとIPを明記してかつrobots.txtを守ろうとしている礼儀正しいクローラーって印象がある。

運営サイトでのhost一覧

• crawl-1.cuill.com
• crawl-11.cuill.com
• crawl-19.cuill.com
• crawl-0.cuill.com
• crawl-10.cuill.com
• crawl-17.cuill.com
• 208.36.144.6.ptr.us.xo.net
• crawl-4.cuill.com
• crawl-8.cuill.com
• crawl-6.cuill.com
• crawl-13.cuill.com
• crawl-14.cuill.com
• crawl-9.cuill.com
• crawl-18.cuill.com
• 64.1.215.166.ptr.us.xo.net
• crawl-7.cuill.com
• crawl-3.cuill.com
• 38.99.44.99
• crawl-2.cuill.com
• crawl-12.cuill.com
• crawl-16.cuill.com