ロボット - 通信用語の基礎知識

WWWの検索サイトなどで使われるソフトウェアで、自動でWebページを巡回し、HTMLを収集してくるものの総称。

概要

日本ではGoogleなどに代表されるようなロボット系(自動収集系)と呼ばれるサイトがこの方式でURLの調査を行なっている。

しかし中にはWebサイト中にあるメールアドレスを収集してスパム向けダイレクトメール業者に売りつけたりするような悪質な輩もおり、こういったメールアドレス収集機もロボットと呼ばれる。

種類

検索エンジン用のロボットとして、名前が知られるものに次のようなものがある。

記したUser-Agentは、これを著した時点で確認されたものである。

Yahoo! (旧Inktomi系)
- User-Agent: Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)
Google: Googlebot
- User-Agent: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
- User-Agent: DoCoMo/1.0/N505i/c20/TB/W20H10 (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)
MSN
- User-Agent: msnbot/1.0 (+http://search.msn.com/msnbot.htm)
livedoor
- User-Agent: livedoorCheckers/0.11
- User-Agent: DoCoMo/1.0/N505i/c20/TB/W20H10 (compatible; LD_mobile_bot; +http://m.livedoor.com/)
- User-Agent: KDDI-HI31 UP.Browser/6.2.0.5 (GUI) MMP/2.0 (compatible; LD_mobile_bot; +http://m.livedoor.com/)
- User-Agent: J-PHONE/3.0/J-SH10 (compatible; LD_mobile_bot; +http://m.livedoor.com/)
有道(Yadao)
- User-Agent: Mozilla/5.0 (compatible; YodaoBot/1.0; http://www.yodao.com/help/webmaster/spider/; )
Gigablast
- User-Agent: Gigabot/2.0 (http://www.gigablast.com/spider.html)
naverbot系
- User-Agent: Yeti/0.01 (nhn/1noon, yetibot@naver.com, check robots.txt daily and follows it)

最近はあまり見ないもの、または廃止されたもの。

リンク

用語の所属