NaverBotお前もか・・・ : ういすぷの記録帳

　以前にも絨毯爆撃のようなHTTPリクエストをするクローラについてブログにも書きましたが、今回も新たな迷惑クローラがやってきました。それは「NaverBot(ウィキペディアの記事)」です。以前よりチョコチョコとやって来てはいたのですが、そんなに酷い振る舞いをしていませんので、そのままにしていました。
　ところが、アクセスログを確認していると１２月３日から急にトラフィックが上がったので何かなと思えば、NaverBotが絨毯爆撃よろしく短時間のうちに大量のリクエストしていました。しかも同じファイルを何度もリクエストするのです。さらに、サーチエンジン用クローラでありながらスタイルシート(.css)ファイルを、何度もリクエストしてきて意味がわかりません。何をパクル参考にするのかわかりませんが、そんなたいそうな記述はしていません。
　.htaccessにて締め出しをしましたが、NaverBotをウィキペディアや他のブログやホームページの記事を調べてみると、User Agentを変更することもあるとか・・・。IPで制限してもいいのですが、IPも変えてくるという頑張りっぷり。しかも、調べてみると昔から対応が変わっていないようです。
　こういうことを続けると、だんだん嫌いになっちゃいますよ？日本の大学でもクローラがありますが、良心的にならないと嫌われちゃいますよ！「他人の振り見て我が身を直せ」です。



○ おまけ .htaccessでNaverBotを抑制する。
太陽系第三惑星の衛星に変わってお仕置きよ！？ページにある、.htaccessのサンプルに以下の記述を追加すると、アクセス制限をすることができます。

SetEnvIf User-Agent "Yeti/0.01" deny_ua



○ 参考サイト
・NaverBot(ウィキペディア)
・韓国「NAVER」のクローラー「NaverBot」がHTTP_USER_AGENT名を「Yeti」に変更 / 晴練雨読


○ 当ブログ
・太陽系第三惑星の衛星に変わってお仕置きよ！？


○ 当ページの更新情報
・特定UserAgentのアクセスを禁止しました。


※ コメント投稿の制限について
2008年01月16日にこの記事に対してのコメント投稿を禁止しました。
これは、オンラインゲームの仮想通貨取引や不正プログラムのインストールなどを配布するアドレスが投稿されるためです。

コメントを行う際には、「chocome」をご利用ください。
ご面倒をおかけいたしますが、よろしくお願いいたします。