2017年11月24日(金) 07:07 JST

GoogleMobileのクローラのIPアドレス帯域発表

印刷用ページ
crawler 気がつくのが遅くなったけど、GoogleMobileのクローラのIPアドレス帯域を6月中旬以降下記のようにするとの発表が5月にあった。googlejapanの発表ページ

-------quote------------
2008 年 6 月中旬以降順次以下の IP アドレス帯域を利用します。

* 72.14.199.0/25 (72.14.199.0 - 72.14.199.127)
* 209.85.238.0/25 (209.85.238.0 - 209.85.238.127)

この情報は予告なく変更される可能性があります。また、この IP アドレス帯域以外からのクロー>ラーアクセスがないことを保証するものではありません。また、この IP アドレス帯域はデスクトップ向けウェブクローラーとは共有されません。
---------unquote--------------

「EZ公式サイトのクローラとは無関係」とも明言されている。EZ公式サイトは公式メニューの検索結果に関する限り何もしなくてよいことになるが、IPでサイトを閉じていなくて且つ、一般のGoogleMobileでの検索結果を気にする場合対策が必要になる。
勝手サイトにとっては、今後googlebot-mobileの動きに神経使ったほうがよくなるかもしれない。今までgooglebotはPCのクローラとIPを共有していたが、PCのIP共用とmobile専用IPとの共存時期を経て、mobile専用IPのみでgooglebotが運営されるようにいずれなるのかもしれない。現状、googleもyahooも勝手サイトを携帯サイトとして認知するのにかかる時間と制度には問題があると思うが、これが徐々に改善される可能性が出てきた。同時にこの世の春を謳歌していたアフィリエイトの為だけのいいかげんなサイトは駆逐されゆく運命かもしれない。

  • コメント (0件)
  • トラックバック (0件)

GoogleWebmasterToolで警告「全てのページで同じpriorityが設定されています」

印刷用ページ
crawler 6月頃から管理しているいくつかのサイトに対してGoogleWebmasterToolで「全てのページのpriorityが同じに設定されています」という警告が出るようになった。いくつかのsitemap.xml自動生成ソフトでは全部0.5とか1.0にする設定になっていたし気にしないでそのままにしていた。

gsitecrawler.comによると
However, as far as I can tell with my tests, "priority" isn't used at the moment at all. I haven't been able to get a clear answer out of Google on this, it's more of a "if you can provide unique insight, then do it", but "don't do anything sneaky or we will ignore it". My tests have not shown an influence (but it's hard to say what will happen in the future - they're moving very fast!).

これがいつの記事かはわからないのだがgsitecrawlerの最新バージョンの日付は07年12月だからそれほど新しい記述ではなさそうだ。sitemap.xmlの普及を推進してきたgoogleだが、priorityについては今まで重視していなかったが6月頃からそれをチェックする機能をcrawler側でONにしてwebmasterにpriority記述を正しくすることを促しているように思える。こうしてgoogleによるwebmaster支配は進んでいくのか?・・・・jokeです。正しいwebのあり方のためには必要なことだとおもいます。


  • コメント (0件)
  • トラックバック (0件)

携帯クローラ

印刷用ページ
crawler 2007年9月情報

Googlebot-mobile:

66.249.66.97
66.249.65.167
Nokia6820/2.0 (4.83) Profile/MIDP-1.0 Configuration/CLDC-1.0
66.249.66.69
66.249.66.79
DoCoMo/1.0/N505i/c20/TB/W20H10
CHTMLインデックスは DoCoMo googlebot-mobile, XHTMLインデックスは Nokia googlebot-mobile という役割分担があるらしい。
# DOCTYPEはchtml, xhtmlの両方のインデックスでインデックスされるためにするのがよい。CHTMLでインデックスさせるにはDOCTYPEをCHTMLにするか設定しないのがよい。XHTMLではインデックスされるにはDOCTYPEが必要。DOCTYPEでXHTMLと明示的に記述していないとインデックスされない
# CHTMLインデックスとXHTMLインデックスは切り離されている。DOCTYPEを出し分ければ(もしくは)にすればひとつのページをCHTML, XHTML両方でヒットさせることが可能
66.249.73.20 KDDI-CA33 UP.Browser/6.2.0.10.4 (GUI) MMP/2.0 (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)"

Yahoo:

* DoCoMo/2.0/SO502i

(compatible; Mozilla 4.0; MSIE 6.0; yahooseeker-jp-mobile AT Yahoo!JAPAN)
12/JUN/06より変更?
KDDI-CA23 UP.Browser/6.2.0.5 (compatible; KDDI-TS24 UP. Browser /6.0.8.2 (GUI) MMP/1.1; yahooseeker-jp-mobile AT Yahoo!JAPAN )
ホスト名: dev0{1,2}.bsearch.bbt.yahoo.co.jp
dev01.bsearch.bbt.yahoo.co.jp→202.93.76.90
dev02.bsearch.bbt.yahoo.co.jp→202.93.76.91


* Y!J-SRD

IP: 124.83.159. 203.216.197.xxx
UserAgent
J-PHONE/4.3/V603T
J-PHONE/2.0/J-SH03
J-PHONE/3.0/V403SH
DoCoMo/2.0/SO502i
DoCoMo/1.0/SO506iC
KDDI-CA23 UP.Browser/6.2.0.5

* Y!J-MBS


* Y!J/1.0

IP: 211.14.8.2xx

* lwp-trivial/1.41(cr0x.wap.search.mud.yahoo.comでやってくる)

IP: 209.191.126.xxx

* Yahoo Seeker

IP: 66.94.229.146 66.94.233.75 66.196.93.xxx 68.142.195.xxx 216.109.126.143
UserAgent:
KDDI-TS24
J-PHONE/2.0/J-SH03
DoCoMo/1.0/SO502i



IP: 209.191.126.182
HOST: cr06.wap.search.mud.yahoo.com
UA: lwp-trivial/1.41
ちょっとあやしいが、多分ホントのYahoo。様子見・・・。
参考:http://pulltab.info/seo-1/

DeNA moba-crawler

202.238.103.126, 202.213.221.97
User-Agent:
DoCoMo/2.0 N902iS(c100;TB;W24H12)(compatible; moba-crawler; http://crawler.dena.jp/)
robots.txt対応

Ixen/SeafTyy
クローラIPは非公開?
UA: (CA.MOBILE crawler;http://seaftyy.jp/q?i=bot)

Yicha
クローラIP非公開?
Yicha自体のIPは220.192.0.0 - 220.207.255.255
この中のどれかと思われる