特定UserAgentのアクセスを禁止しました。
以下のUserAgentのリクエストを禁止いたしました。
○ 禁止UserAgent
Yeti/0.01i (nhn/1noon, yetibot@naver.com, check robots.txt daily and follow it)
Yeti/0.01 (nhn/1noon, yetibot@naver.com, check robots.txt daily and follow it)
NaverBotにつきましては、下記のサイトをご参照ください。
・
韓国「NAVER」のクローラー「NaverBot」がHTTP_USER_AGENT名を「Yeti」に変更 / 晴練雨読
・
NaverBot - Wikipedia
○ 禁止理由
クローリングのやり方がひどいため。
また、同じURIに対して短時間に何度もリクエストしてくるため。
○ 現在禁止している情報
・UserAgent(UA)
YodaoBot
Baiduspider
libwww-perl
Yeti/0.01
・IP範囲
122.152.128.0/23
以上です。
2007.12.06