
Googlebot-mobile:
66.249.66.97
66.249.65.167
Nokia6820/2.0 (4.83) Profile/MIDP-1.0 Configuration/CLDC-1.0
66.249.66.69
66.249.66.79
DoCoMo/1.0/N505i/c20/TB/W20H10
CHTMLインデックスは DoCoMo googlebot-mobile, XHTMLインデックスは Nokia googlebot-mobile という役割分担があるらしい。
# DOCTYPEはchtml, xhtmlの両方のインデックスでインデックスされるためにするのがよい。CHTMLでインデックスさせるにはDOCTYPEをCHTMLにするか設定しないのがよい。XHTMLではインデックスされるにはDOCTYPEが必要。DOCTYPEでXHTMLと明示的に記述していないとインデックスされない
# CHTMLインデックスとXHTMLインデックスは切り離されている。DOCTYPEを出し分ければ(もしくは)にすればひとつのページをCHTML, XHTML両方でヒットさせることが可能
66.249.73.20 KDDI-CA33 UP.Browser/6.2.0.10.4 (GUI) MMP/2.0 (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)"
Yahoo:
* DoCoMo/2.0/SO502i
(compatible; Mozilla 4.0; MSIE 6.0; yahooseeker-jp-mobile AT Yahoo!JAPAN)
12/JUN/06より変更?
KDDI-CA23 UP.Browser/6.2.0.5 (compatible; KDDI-TS24 UP. Browser /6.0.8.2 (GUI) MMP/1.1; yahooseeker-jp-mobile AT Yahoo!JAPAN )
ホスト名: dev0{1,2}.bsearch.bbt.yahoo.co.jp
dev01.bsearch.bbt.yahoo.co.jp→202.93.76.90
dev02.bsearch.bbt.yahoo.co.jp→202.93.76.91
* Y!J-SRD
IP: 124.83.159. 203.216.197.xxx
UserAgent
J-PHONE/4.3/V603T
J-PHONE/2.0/J-SH03
J-PHONE/3.0/V403SH
DoCoMo/2.0/SO502i
DoCoMo/1.0/SO506iC
KDDI-CA23 UP.Browser/6.2.0.5
* Y!J-MBS
* Y!J/1.0
IP: 211.14.8.2xx
* lwp-trivial/1.41(cr0x.wap.search.mud.yahoo.comでやってくる)
IP: 209.191.126.xxx
* Yahoo Seeker
IP: 66.94.229.146 66.94.233.75 66.196.93.xxx 68.142.195.xxx 216.109.126.143
UserAgent:
KDDI-TS24
J-PHONE/2.0/J-SH03
DoCoMo/1.0/SO502i
IP: 209.191.126.182
HOST: cr06.wap.search.mud.yahoo.com
UA: lwp-trivial/1.41
ちょっとあやしいが、多分ホントのYahoo。様子見・・・。
参考:http://pulltab.info/seo-1/
DeNA moba-crawler
202.238.103.126, 202.213.221.97
User-Agent:
DoCoMo/2.0 N902iS(c100;TB;W24H12)(compatible; moba-crawler; http://crawler.dena.jp/)
robots.txt対応
Ixen/SeafTyy
クローラIPは非公開?
UA: (CA.MOBILE crawler;http://seaftyy.jp/q?i=bot)
Yicha
クローラIP非公開?
Yicha自体のIPは220.192.0.0 - 220.207.255.255
この中のどれかと思われる