Nginx防蜘蛛爬虫处理

guiyun affiliate

某个网站它可能不希望被网络爬虫抓取,例如测试环境不希望被抓取,以免对用户造成误导,那么需要在该网站中申明,本站不希望被抓取.

有如下方法:
修改nginx.conf,禁止网络爬虫的ua,返回403。

server { 


listen 80; 

server_name 127.0.0.1; 


#添加如下内容即可防止爬虫


if ($http_user_agent ~* "qihoobot|Baiduspider|Googlebot|Googlebot-Mobile|Googlebot-Image|Mediapartners-Google|Adsbot-Google|Feedfetcher-Google|Yahoo! Slurp|Yahoo! Slurp China|YoudaoBot|Sosospider|Sogou spider|Sogou web spider|MSNBot|ia_archiver|Tomato Bot") 

return 403; 

原文:https://blog.csdn.net/xifeijian/article/details/38615695

guiyun affiliate

作者头像
南宫俊逸创始人

君子好学,自强不息~

上一篇:Nginx反向代理内网服务器WEB应用
下一篇:Unicode,UTF-8和UTF-16的区别与联系

发表评论