我应该使用什么.htaccess重写代码来检测已知的机器人,例如大型机器人:
altavista,谷歌,bing,雅虎
我知道我可以检查他们的ips或主机,但有没有更好的方法?
RewriteCond %{HTTP_USER_AGENT} AltaVista [OR] RewriteCond %{HTTP_USER_AGENT} Googlebot [OR] RewriteCond %{HTTP_USER_AGENT} msnbot [OR] RewriteCond %{HTTP_USER_AGENT} Slurp RewriteRule ^.*$ IHateBots.html [L]