Bob SpAce

Be myself!Do myself!

nginx中禁止屏蔽网络爬虫

Written By bob
if ($http_user_agent ~* "Googlebot|Googlebot-Mobile|Googlebot-Image|Mediapartners-Google|Adsbot-Google|Feedfetcher-Google|Yahoo! Slurp|Yahoo! Slurp China|ia_archiver|Tomato Bot") {
   return 403;
}
可以用 curl 测试一下
curl -I -A "qihoobot" www.xxx.com
打赏 分享
取消

如果您觉得我的文章对您有所帮助,欢迎您打赏一点咖啡钱~

扫码支持
您的打赏是我的动力!

打开支付宝扫一扫,即可进行扫码打赏哦~

Comments are closed.