<-Back

在nginx中设置对指定的user agent返回403

最近我的某个网站上经常会遭遇无良爬虫(AhrefsBot/5.0; +http://ahrefs.com/robot/)的频繁光顾,导致网站负载过高。这货完全不遵循robots协议,一怒之下只好在nginx中将此爬虫的请求拒绝掉。

设置很简单,如下(顺便将Wget也拒绝掉):

if ($http_user_agent ~ (AhrefsBot|Wget)) {
    return 403;
 }
“多说”已关闭,原评论数据丢失