首页 程序员 nginx配置禁止爬虫配置知识总结

nginx配置禁止爬虫配置知识总结

nginx配置禁止爬虫配置

本文章主要介绍了nginx配置禁止爬虫配置,具有不错的的参考价值,希望对您有所帮助,如解说有误或未考虑完全的地方,请您留言指出,谢谢!

1、在配置文件里添加禁止爬虫配置

server { 
  ………………   
#添加如下内容即可防止爬虫   if ($http_user_agent ~* "qihoobot|Baiduspider|Googlebot|Googlebot-Mobile|Googlebot-Image|Mediapartners-Google|Adsbot-Google|Feedfetcher-Google|Yahoo! Slurp|Yahoo! Slurp China|YoudaoBot|Sosospider|Sogou spider|Sogou web spider|MSNBot|ia_archiver|Tomato Bot")   {   return 403;   }

 2、限制同一个ip的访问频率

  速率限制主要有2个主要指令,limit_req_zore 和limit_req

1、在nginx.conf里的http{}里加上如下代码: 
 
limit_conn_zone $binary_remote_addr zone=perip:10m; 
limit_conn_zone $server_name zone=perserver:10m; 
 
2、在需要限制并发数和下载带宽的网站配置server{}里加上如下代码: 
 
limit_conn perip 2; 
limit_conn perserver 20; 
limit_rate 100k; 
 
补充说明下参数: 
$binary_remote_addr是限制同一客户端ip地址; 
$server_name是限制同一server最大并发数; 
limit_conn为限制并发连接数; 
limit_rate为限制下载速度;

免责声明:文章内容不代表本站立场,本站不对其内容的真实性、完整性、准确性给予任何担保、暗示和承诺,仅供读者参考,文章版权归原作者所有。如本文内容影响到您的合法权益(内容、图片等),请及时联系本站,我们会及时删除处理。

为您推荐

ansible远程运维操作知识总结

ansible远程运维操作知识总结

ansible远程运维操作

Firewalls命令行配置知识总结

Firewalls命令行配置知识总结

Firewalls命令行配置

IPtable防火墙概念介绍知识总结

IPtable防火墙概念介绍知识总结

IPtable防火墙概念介绍

windows和linux添加路由知识总结

windows和linux添加路由知识总结

windows和linux添加路由

Linux下批量转换windows格式“\r\n“转为“\n“知识总结

Linux下批量转换windows格式“\r\n“转为“\n“知识总结

Linux下批量转换windows格式“\r\n“转为“\n“

发表评论

您的电子邮箱地址不会被公开。 必填项已用*标注

返回顶部