サーバのアクセスログを見てちょっと思ったんですよ。
４月のログを見てさ。

百度のクローラ、限度ってモノを知らないのかと。

４月のサーバ転送量の31.66%を百度のクローラが占めてます。
もちろんダントツでトップです。
ちなみに、２位はgoogleのクローラですが転送量の割合で1.85%です。
31.66%と1.85%、百度の異常さが判ると思います。
参考までに３月は１位＝百度（30.82%）、２位＝*.tky.mesh.ad.jp（1.22%）でした。
２位は・・・あぁ、ワタシですね、コレは。
いずれにしても、百度クローラの異常性が判っていただけるかと思います。
流石は.cnの国。
ってコトで、とりあえずセオリーのrobots.txtを置いてみました。
「今まで置いてなかったんか！」というツッコミは不要ですｗｗｗ
なんか、百度のクローラはお行儀が良くないから置いても意味無いとか。
そんな解説をしてるページもあったり。
ちょっとぐぐると判りますが、百度のクローラはあちこちで不評です、マジで。

時間のあるときに、ゆっくり対策を考えたいと思います。
.htaccessで締め出しちゃうのも手だとは思ってたり（お
同様のお悩みを抱えているサイト管理者さまがいましたら、一緒に対策を考えましょう。

なまえ：

email:

URL:

コメント：


　　 Cookieに登録

http://blog.minatch.com/tb.php?1254