たまに掲示板のアクセスが遅くなったりするので、このWebサーバーへのアクセス状況を調べ始めています。
悪質なのは、Naver系のbotなのですが、個人の巡回ソフトもそれなりに負荷が高いです。
あまり目に付くようだと、出入り禁止なUser Agenetにしちゃおうかなどと思ったりします。
取り敢えず、悪質なbotと評判なIPは排除してみました。あとはrobots.txtを無視しちゃうbotをどうしようかなと考えをめぐらせています。
インターネットへのアクセススピードが遅かった90年代は、自動巡回ソフトの類が流行っていて、所属していた事業部でも、そういうのが企画されていました。
でも、こういうソフトが、ADSLやBフレッツで動かされていたら、はっきり云って『迷惑』です。
お願いだから、巡回するアドレスに、古いコンテンツまで含めないでくださいね。Updateはしませんから。
今日到着の自動巡回なUser Agentは、
Microsoft URL Control - 6.00.8862
Internet Ninja 6.0
Mozilla/4.0 (compatible; MSIE 6.0; Windows 98) 何かの偽装？
コメント