python网络爬虫具体是怎样的？ |python安全锁

python网络爬虫跟上面的例子很相似，

1. 首先一批种子地址开始，将这些种子地址加入待处理的任务队列；
2. 任务处理者从上面的任务队列中取出一个地址，取出后需要将这个地址从任务队列中移除，同时还要加到已处理地址字典中去，访问地址获取数据；
3. 处理上面获取的数据，比如可能是一个网页，网页中又可能存在多个地址，比如一个页面中又很多链接地址，将这些地址如果不在已处理的地址字典的话，就加入到待处理的任务队列。同时提取获取到的数据中的有用部分存储下来；
4. 周而复始地执行上面2,3步操作，直到待处理地址队列处理完，或者获取了到了足够数量的数据等结束条件。

最后对采集到的有用数据就可以进行清洗，转化处理，作为爬虫的最后数据输出。