検索エンジンクローラ : ういすぷの記録帳

ういすぷの気ままに綴るブログです。
フィギュア、グッズ、カプセルトイ（ガチャ）、食玩、付録、ぬいぐるみ、購入の際の梱包写真、PCなどのハードウェア、他にもオリジナルのWebサービスなどをご紹介しています。
フィギュアは、少し前の物を多く更新しています。懐かしいなとか感じてもらえると嬉しいです。

ご意見・ご感想は、記事下にあるフォームまたは、こちらの問い合せフォームからご投稿ください。写真などのご利用につきましては、サイトについてをご覧下さい。

検索エンジンクローラ

2006.04.03

　ホームページを公開していると、色々なサーチエンジンのクローラ（検索エンジンBOT)が来ます。SAKURAサーバでは、サーバへのアクセスログを確認することができます。このログは、深夜3時に更新され、それまでにアクセスされた情報がファイル化されます。（リアルタイムにアクセスされたログではない）このアクセスログは、画像やHTMLファイルなどサーバに問合せがあったものを記録するもので、普通のカウンターなどページを表示した時にカウントするものとは少し違います。
　そのログを見ていると、検索エンジンのいくつかでは、一度にすべてのページを検索するじゅうたん爆撃の様なサーチエンジンもいくつか存在します。これはサーバのレスポンス（応答）を悪くするので、とても不愉快です。
　その点GoogleやYahoo、MSNのクローラは賢いですね。少しずつ時間を分けて検索してくれます。
　そんな私のページも「ういすぷ」で検索すると上位に表示され、「KDDI 電話勧誘」■でも一時期上位に表示されました。今では、表示されないのですが、最近増えているのでしょうか。
　こまったちゃんには参りますね。

　ゲームでも同じ名前を利用しているので、悪いことはできません(笑
ま、するつもりもなりですが＾＾