<< November/2025
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30
>>
    
サーバのアクセスログを見てちょっと思ったんですよ。
4月のログを見てさ。

百度のクローラ、限度ってモノを知らないのかと。

4月のサーバ転送量の31.66%を百度のクローラが占めてます。
もちろんダントツでトップです。
ちなみに、2位はgoogleのクローラですが転送量の割合で1.85%です。
31.66%と1.85%、百度の異常さが判ると思います。
参考までに3月は1位=百度(30.82%)、2位=*.tky.mesh.ad.jp(1.22%)でした。
2位は・・・あぁ、ワタシですね、コレは。
いずれにしても、百度クローラの異常性が判っていただけるかと思います。
流石は.cnの国。
ってコトで、とりあえずセオリーのrobots.txtを置いてみました。
「今まで置いてなかったんか!」というツッコミは不要ですwww
なんか、百度のクローラはお行儀が良くないから置いても意味無いとか。
そんな解説をしてるページもあったり。
ちょっとぐぐると判りますが、百度のクローラはあちこちで不評です、マジで。

時間のあるときに、ゆっくり対策を考えたいと思います。
.htaccessで締め出しちゃうのも手だとは思ってたり(お
同様のお悩みを抱えているサイト管理者さまがいましたら、一緒に対策を考えましょう。

comments (2) trackback (0)
    
INFOMATION
 地震で被災された皆さまには
 心よりお見舞い申し上げます。
 2011.03.14
NEW ENTRIES
RECENT COMMENTS
CATEGORIES
ARCHIVES
OTHER
SEARCH
POWERED BY
 Script by ⇒ BLOGN+(ぶろぐん+)
 Skin by ⇒ vivid*face