不要なクローラーからのアクセスや悪質なスクレイパーからのアクセスを一発で排除する方法

とある過疎blog(どこだろう？ここかな？）のアクセス統計見ていたらこんなログが、

ユーザーエージェントを見ると、

Mozilla/5.0 (compatible; SemrushBot/1.2~bl; +http://www.semrush.com/bot.html)

robots.txtを見ている形跡もないし、Spambotのリンク先見てもどうせロクな事書いてないので問答無用でブロック。

まずはこのサイトに行って46.229.168.65に所属する組織のIPアドレス範囲を調べます。

IPアドレスの範囲が表示されているので、自分でネットマスク計算してもいいですが、
すぐ下のWhois**infomation(click to view)▼ をクリックして展開

.htaccessにコピペ出来る形の文字列を取得することができました。

あとは.htaccessに記述するだけ

#まずは全IPを許可
Order Allow,Deny
Allow from all

deny from 46.0.0.0/8

この方法は敵がIPアドレスを変えてきたとしても有効で、プロパイダを変えてこない限り有効です。