使用到的框架及软件包介绍
- Github Gerapy 提供主机管理，爬虫项目管理，爬虫任务管理的web管理后台。
- Github Scrapy-redis 提供中心化的任务队列，任务指纹队列，供分布式爬虫共享爬取任务队列。
- Github Scrapyd 提供通过api方式单机部署爬虫的功能，爬虫状态查询等。
- Github Scrapy 一个python实现的高级web爬取和抓取框架，用于爬虫开发。
背景介绍
根据sprapy distributed crawls官方文档说明，scrapy自己并不支持分布式的部署方式。文档给出的兼容方案是将不同的spider使用多台运行scipyd的设备进行部署，或者对于单一比较重的爬虫，手动分割爬取的地址列表，然后分配到多台设备。
但是这种部署方式需要分割地址列表，并且需要手动打包项目，调用接口部署， 这在大规模部署，或者日常管理会带来很多的不便。
