|
サーバのアクセスログを見てちょっと思ったんですよ。
4月のログを見てさ。 百度のクローラ、限度ってモノを知らないのかと。 4月のサーバ転送量の31.66%を百度のクローラが占めてます。 もちろんダントツでトップです。 ちなみに、2位はgoogleのクローラですが転送量の割合で1.85%です。 31.66%と1.85%、百度の異常さが判ると思います。 参考までに3月は1位=百度(30.82%)、2位=*.tky.mesh.ad.jp(1.22%)でした。 2位は・・・あぁ、ワタシですね、コレは。 いずれにしても、百度クローラの異常性が判っていただけるかと思います。 流石は.cnの国。 ってコトで、とりあえずセオリーのrobots.txtを置いてみました。 「今まで置いてなかったんか!」というツッコミは不要ですwww なんか、百度のクローラはお行儀が良くないから置いても意味無いとか。 そんな解説をしてるページもあったり。 ちょっとぐぐると判りますが、百度のクローラはあちこちで不評です、マジで。 時間のあるときに、ゆっくり対策を考えたいと思います。 .htaccessで締め出しちゃうのも手だとは思ってたり(お 同様のお悩みを抱えているサイト管理者さまがいましたら、一緒に対策を考えましょう。 |