不要なクローラーからのアクセスや悪質なスクレイパーからのアクセスを一発で排除する方法

とある過疎blog(どこだろう?ここかな?)のアクセス統計見ていたらこんなログが、

image

 

ユーザーエージェントを見ると、

Mozilla/5.0 (compatible; SemrushBot/1.2~bl; +http://www.semrush.com/bot.html)

robots.txtを見ている形跡もないし、Spambotのリンク先見てもどうせロクな事書いてないので問答無用でブロック。

 

まずはこのサイトに行って46.229.168.65に所属する組織のIPアドレス範囲を調べます。

IP Address Lookup - Home page

image

 

IPアドレスの範囲が表示されているので、自分でネットマスク計算してもいいですが、
すぐ下のWhois**infomation(click to view)▼ をクリックして展開

image

.htaccessにコピペ出来る形の文字列を取得することができました。

image

 

あとは.htaccessに記述するだけ

#まずは全IPを許可
Order Allow,Deny
Allow from all

deny from 46.0.0.0/8

この方法は敵がIPアドレスを変えてきたとしても有効で、プロパイダを変えてこない限り有効です。

コメント

タイトルとURLをコピーしました