浅谈网络爬虫中的流程控制模块

　　所谓爬取流程，就是按照什么样的规则顺序去爬。在爬取任务不大的情况下，爬取的流程控制不会太麻烦，很多爬取框架都已经帮你做好了，如scrapy，只需要自己实现解析的代码。

　　但在爬取一些大型网站时，例如全网抓取京东的评论，微博所有人的信息，关注关系等等，这种上十亿到百亿次设置千亿次的请求必须考虑效率，否则一天只有86400秒，那么一秒钟要抓100次，一天也才8640w次请求，也需要100多天才能到达十亿级别的请求量。

　　涉及到大规模的抓取，一定要有良好的爬虫设计，一般很多开源的爬虫框架也都是有限制的，因为中间涉及到很多其他的问题，例如数据结构，重复抓取过滤的问题，当然最重要的是要把带宽利用满。

　　所以分布式抓取很重要，这时流程控制就会很重要，分布式最重要的就是多台机器不同线程的调度和配合，通常会共享一个url队列，然后各个线程通过消息通信，如果想要抓的越多越快，那么对中间的消息系统的吞吐量要求也越高。

　　现在也有一些开源的分布式爬取框架如scrapy-redis就是一个重写了scrapy的调度模块、队列、管道的包，redis数据库是用来在分布式中做请求队列共享，scrapyd是用来部署scrapy的,scrapyd-api用来启动获取数据。