Python爬虫是当下最流行的爬虫技术之一，作为脚本语言，Python爬虫有其天生的优势，它可以快速完成内容抓取、整理工作。
实际工作中，大多数被爬虫过的网站都或多或少的设置了一些防爬虫策略。毕竟爬虫会对网站服务器带来巨大的负载，网络资源消耗、服务器计算资源等都需要额外且无效的之处。
所以当大家的爬虫被封禁之后，大家要根据反爬虫策略来找出原因，尽力绕过这些策略，不断优化自己的爬虫策略，要让大家的爬虫程序访问网站像个真人访问一样！知己知彼，方能百战百胜嘛！
下面列举一下一些爬虫策略：
一、构造合理的HTTP请求头
请求头里的“User-Agent”不要用默认的Python-urllib/3.4，一定要有真实合法的请求头，如果爬取的网站反爬虫非常严格，还需要将请求头里的其他参数设置的更合理一些。
二、要让你的程序像真实用户一样去访问网站
不要使用多线程来加快你的网站抓取速度，因为这样很容易被封，一个真实的用户不可能有程序的访问速度，而且要让你的程序代码访问顺序要和真实用户访问路径保持一致。另外大家不要恶意抓取网站，保持尽可能慢的速度去抓取，别把人家的网站搞挂了。
三、采用动态代理IP
如果出现页面无法打开、403禁止访问错误，很有可能是IP地址被网站封禁，不再接受你的任何请求。所以要有一个优秀的动态的ip库，当大家的动态Ip被封之后，立马再换一个新的ip，这样可以有效的持续抓取网页内容。
四、研究网站
多研究你所抓取的网站的请求，一定要熟悉这个网站的请求规则，要清楚的知道自己的请求什么情况下符合这个网站，什么情况下会有风险，不要去挑战也不要心存侥幸。知己知彼方能，百战百胜！
实际工作中，你还有哪些有效的爬虫策略呢？欢迎大家评论交流，共同学习~