というわけで、bot調査もほぼ終了。
かなりおざなりな調査結果ですがまぁ一応。
本当は、robots.txtを読むのかとか、目的の詳細とか、レポートすれば良いんだろうけど、
基本的には気に入らないヤツは全てhtaccessで弾いてしまう方針でいるので。
フォローできる方はコメントいただけると助かります。
この結果を参考に、htaccessを再構築の予定。
→ 第1弾 / 第2弾
Special Thanks to
☆☆白いはインターネット☆☆
かなりおざなりな調査結果ですがまぁ一応。
本当は、robots.txtを読むのかとか、目的の詳細とか、レポートすれば良いんだろうけど、
基本的には気に入らないヤツは全てhtaccessで弾いてしまう方針でいるので。
フォローできる方はコメントいただけると助かります。
この結果を参考に、htaccessを再構築の予定。
→ 第1弾 / 第2弾
Special Thanks to
☆☆白いはインターネット☆☆
SEARCHENGINE
ConveraCrawler
ConveraCrawler/0.5 (+http://www
検索サイトConvera。行儀悪いとのこと。有名な会社のハズなんだけどなぁ…（→情報源：お笑い店長のブーたれ日記）
Drecom
Drecombot/1.0 (http://career.drecom.jp/bot.html)
ドリコムのクローラー。UAにあるURIの説明によると、求人検索のための情報収集、らしい。（INFO）
Fast-Search-Engine
User-Agent: Mozilla/4.0 (http://www.fast-search-engine.com/
検索サイトFAST-SEARCH-ENGINE。アメリカ。
GoogleAdSense
Mediapartners-Google/2.1
Googleの広告サービス、GoogleAdSenseのメンテナンス用？クローラー。
Infoseek
Infoseek SideWinder/2.0R (Linux 2.6.6-1.381smp i686)
検索サイトInfoseek。個人的には使わないけど。30アクセス未満くらい。
InnerpriseBot
InnerpriseBot/1.0 (http://www.innerprise.com/)
Innerpriseの提供する検索エンジンソフトInnerpriseSearch。
Livedoor
Livedoor SF - California Crawl/1.20b (http://sf.livedoor.com)
未来検索livedoor。前から思ってたんだけど、未来って何だ？
Majestic-12
MJ12bot/v0.8.7 (http://www.majestic12.co.uk/projects/dsearch/mj12bot.php?V=v0.8.7&NID=B0E44C4EE98B33C4&MID=EE1DD60ABC2AE863&
BID=FD61639345DCE53C04224A9647833F44
BID=FD61639345DCE53C04224A9647833F44
イギリスの検索エンジンらしい。くそ長いUAがうっとおしい。
Nutch
CreativeCommons/0.06-dev (Nutch; http://www.nutch.org/docs/en/bot.html; nutch-agent@lists.sourceforge.net)
Nutchの別名。
Nutch
NutchCVS/0.06-dev (Nutch; http://www.nutch.org/docs/en/bot.html; nutch-agent@lists.sourceforge.net)
オープンソースの検索エンジン…らしい。日本語版公式
Openfind
Openfind data gatherer, Openbot/3.0+(robot-response@openfind.com.tw;+http://www.openfind.com.tw/robot.html)
検索サイトOpenfind。台湾。
Updated
updated/0.1beta (updated.com; http://www.updated.com; crawler@updated.com)
検索サイトupdated.com。アメリカ。知らん。
Yahoo!
Mozilla/5.0 (Slurp/si; slurp@inktomi.com; http://www.inktomi.com/slurp.html)
Yahoo!のクーラーInktomi版。（INFO）
Yahoo!
Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)
もが知ってるYahoo!。一日100アクセスくらい。Yahoo!のリンクチェッカー（UA：Down Site Checker V2.0）もある。
Yahoo-MMCrawler
Yahoo-MMCrawler/3.x (mms dash mmcrawler dash support at yahoo dash inc dot com)
Yahoo!のマルチメディア用クローラー。らしい。拒否して良いものかどうか迷うな…
SERVICE
Blogshares
Blogshares Spiders (Wolferized V1.39)
blogの企業価値を算出するサイトblogsharesのクローラー。いつの間にかうちのサイトデータも作られてました。現在の価値、$1000。
Dead Link Checker
Mozilla/4.0 compatible ZyBorg/1.0 Dead Link Checker (wn.dlc@looksmart.net; http://www.WISEnutbot.com)
悪名高きWiseNutのプログラムで、リンクが切れていないか調べてくれる。いや、良いから帰ってくれ。
GPostBot
GPostbot (http://www.gpost.info/help.php?c=bot)
Girafabot
Mozilla/4.0 (compatible; MSIE 5.0; Windows NT; Girafabot; girafabot at girafa dot com; http://www.girafa.com)
Girafaのサービス、Girafa Thumbnail Serviceのbotっぽい。設定すると、他のサイトのサムネイルを作成してくれる。
PlantyNet_WebRobot
PlantyNet_WebRobot_V1.9 dhkang@plantynet.com
韓国PlantyNetのBot。WEBフィルタリングサービスをしてるらしい。そうですか。robotsxx.txtを読もうとする不思議な（ていうか非常識な）Botだそうです。自社基準準拠ですか。（情報元：Strange Days 奇妙な日々: robotsxx.txtを探す不思議なスパイダー）
Rojo
Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.2.1; aggregator:Rojo; http://rojo.com/) Gecko/20021130
SNS RojoのRSSアグリゲーター。
SearchBlog Crawler
SearchBlog Crawler. http://www.searchblog.com
SEO向けNEWSをblogから集めるニュースサイト…か？SearchBlog
blogWatcher
blogWatcher_Spider/0.1 (http://www.lr.pi.titech.ac.jp/blogwatcher/)
blogWatcherからの巡回。東京工業大学運営。
blogn
blogn-trackback
ブログンのトラックバックを送信するソフトと思われ。
BOT
AIRF
Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; AIRF; .NET CLR 1.0.3705)
コメント爆撃野郎疑惑。危険。
DTS Agent
Mozilla/4.0 (compatible; MSIE 5.0; Windows NT; DigExt; DTS Agent
SPAM系のメールアドレス収集用botらしい。かなりしつこいとのこと。遮断必須だな。
Download Ninja
Download Ninja 7.0
サイトダウンローダー。。
EmeraldShield.com
EmeraldShield.com WebBot (http://www.emeraldshield.com/webbot.aspx)
Emerald Shieldの、WEBフィルター生成用botと思われ。
Headline-Reader
Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; Headline-Reader)
RSSリーダーHeadline-Reader。
Hotbar
Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; Hotbar4.5.3.0)
IE用のツールバーソフトウェアらしい。基本的においらはこういうの嫌いなので使いませんが…てか、これ、スパイウェアくさい。ご注意下さい。
Indy Library
Mozilla/3.0 (compatible; Indy Library)
メアド収集ロボットらしい。実体参照変換などかなりの『高機能』キャー。（参照：robotはぢきについて）
Java
Java/1.4.2_04
A8.netのファンコミュニケーションズではとの情報有り。（情報元：白いはインターネット）でもまぁ…逆引きできないよく分からないホストからのアクセスでしたので、拒否することにしました。
Jigsaw
Jigsaw/2.2.3 W3C_CSS_Validator_JFouffa/2.0
W3CリファレンスのWEBサーバーJigsawの吐くUAらしい。
LinkWalker
LinkWalker
リンク切れをチェックしてくれるロボット。うるさいよ。
MSIECrawler
Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0; .NET CLR 1.1.4322; MSIECrawler)
MSIEでアクティブデスクトップを有効にしているとこれが動くらしい。いい迷惑である。
MagpieRSS
MagpieRSS/0.61 (+http://magpierss.sf.net)
RSSアグリゲータ。僕が使ってるのが0.7らしいんですが、その他、0.61もやってきます。
Missigua Locator
Missigua Locator 1.9
クローラーだということは分かる。SPAM用のメールアドレスを集めて回ってるとも言われる。でも実際のところは…なんだかよくわっかんねぇ。
RSS_READER
RSS_READER (mctwist@mail.dr-k.info)
多分RSSリーダー。まんまですが。
Scope
Scope Server Module (Public Preview)
imode用フルブラウザScopeのUA。
SuperHTTP
SuperHTTP/1.0 (cable-71-8-13-218.grd.al.charter.com)
ダウンローダー。開発終了したのかな？サイトSiteは消えてます。どっちだっていいが。
TurnitinBot
TurnitinBot/2.0 (http://www.turnitin.com/robot/crawlerinfo.html)
なんかのサイト用の情報を収集してるっぽい。英語サイト読むの面倒で…Turnitin
WWWC
WWWC/1.04
サイトの更新状況をチェックするソフトウェア。気持ちは分かりますが僕は嫌いです。
Wget
Wget/1.9.1
UNIX上で動くダウンロード支援/ホームページ自動巡回ツール。敵ですね。
WinHttp
Mozilla/4.0 (compatible; Win32; WinHttp.WinHttpRequest.5)
WinHttpのUA。Windowsに組み込まれてるプログラムだ、ということはわかったが、何が出来るかは不勉強のためよく分からず。
Zao-Crawler
Zao-Crawler
東京大学の情報収集bot。
UNKNOWN
-
UserAgentを吐かないbot。一概には言えないが…。メール収集用など他用途が疑われる。
1.0
一時期流行ったらしい1.0。これもまた正しい行いをしてるとはとても思えない。
MSIE 5.0（だけしか吐かない）
MSIE 5.0
『MSIE 5.0』としか吐かないアクセス。何ですかこれは…ちなみにアクセス元はロシアのISP。なんかのソフトウェアだと思うんだが…
Murabit
murabit/0.1
素性不明なbot。うーむ。
NoName
名乗らないんじゃなくて、『NoName』と名乗る人またはbot。謎。
OCN-SOC
OCN-SOC/1.0
多分OCN系のなんかだと思うんですが、何してるかはサパーリ…
PEAR
PEAR HTTP_Request class ( http://pear.php.net/ )
いや、PEARはわかるんですけどね、なんでログが残るんだろうかと…
SurveyBot
SurveyBot/2.3 (Whois Source)
なんでしょ？whoisのための情報収集…？
W3CRobot
W3CRobot/5.4.0 libwww/5.4.0
韓国より来訪？謎。
WireAction URLCheckSpider
WireAction URLCheckSpider
NTTコミュニケーションズ(株)経営企画部.com bit？出自も目的も謎。
bfr100
謎UA。
heritrix
Mozilla/5.0 (compatible; heritrix/dev +http://www.l3s.de/)
Forschungszentrum L3Sのクローラー…何やってるかは不明。だってサイトがドイツ語なんだもん。
king?
king/-5.7(macintosh; u; ppc; mac os XXX)
mac用のダウンローダーかなぁ…謎。
lwp-trival
lwp-trivial/1.38
実はAppleからのアクセス（PROXYだけ？）何やってるかは謎ですけど。
？
User-Agent: Mozilla/4.0 (compatible; MSIE 5.5; Windows NT 5.0)
UAに『User-Agent』を含むロボットにはろくな物がないんだが…とりあえず謎。ちなみにアクセス元は中国より。
