爬虫简介">网络爬虫简介

爬虫何时使用">网络爬虫何时使用

用于快速自动地获取网络信息，避免重复性的手工操作。

爬虫是否合法">网络爬虫是否合法

网络爬虫目前人处于早期的蛮荒阶段，尚未针对“允许那些行为”取得广泛共识，是否合法要根据当地的法律法规来具体区分。
从目前的实践来看：

如果抓取数据的行为用于个人使用，这不存在问题；
如果数据用于转载，那么原创数据（比如，意见和评论）通常会受到版权限制，而现实生活中的真实数据（比如，营业地址、电话清单）一般不受版权限制。

为了避免出现糟糕的情景，建议：

尽可能地了解当地相关的法律法规，尊重版权
下载请求的速度限制在一个合理值之内
设定一个专属的用户代理标识自己

背景调研

爬取一个网站之前，首先需要对目标站点的规模和结构进行一定的了解。

检查robot.txt
大多数网站定义的robot.txt文件表明了爬取该网站时存在哪些限制。
这些限制虽然作为建议值给出，但仍建议遵守，否则很可能导致网站封禁抓取行为。
更多信息可参考：http://www.robotstxt.org/
示例：

https://www.bing.com/robots.txt
http://www.csdn.net/robots.txt
https://www.oschina.net/robots.txt

检查网站地图
网站提供的Sitemap文件（即网站地图）可以帮助爬虫定位网站最新的内容，而无须爬取每一个网页。
但该文件经常存在缺失、过期或不完整的问题。
更多信息可参考：http://www.sitemaps.org/protocol.html
示例：

http://www.bing.com/images/sitemap.xml
http://www.csdn.net/article/sitemap.txt
http://www.oschina.net/sitemap.xml

估算网站大小
目标网站的大小会影响如何进行爬取的方式。
估算网站大小的一个简便方法是利用搜索引擎爬虫的结果，因为很有可能搜索引擎已经爬取过目标网站。
可以通过搜索引擎的site关键词过滤域名结果，从而获取该信息。但对于特殊限制或者更大型的网站，搜索引擎的估算并不十分准确。
常用搜索引擎命令

1.3.4 识别网站所用技术
builtwith模块：检查网站构建的技术类型
安装模块：pip install builtwith
示例：

>>> builtwith.parse( 'http://127.0.0.1:8000/places')
{u'javascript-frameworks': [u'jQuery', u'Modernizr', u'jQuery UI'], u'web-frameworks': [u'Web2py', u'Twitter Bootstrap'], u'programming-languages': [u'Python']}
>>>
>>> builtwith.parse( 'http://www.bing.com')
{u'javascript-frameworks': [u'RequireJS'], u'operating-systems': [u'Windows Server'], u'web-servers': [u'IIS']}
>>>

寻找网站所有者
使用WHOIS协议查询域名的注册者。
python-whois模块：Python针对WHOIS协议的封装库
安装模块：pip install python-whois -i https://mirrors.ustc.edu.cn/pypi/web/simple/
示例：

>>> print whois.whois('www.csdn.net')
{
  "updated_date": [
    "2014-11-26 00:00:00",
    "2015-01-28 23:17:54"
  ],
  "status": "clientTransferProhibited https://icann.org/epp#clientTransferProhibited",
  "name": "Beijing Chuangxin Lezhi Co.ltd",
  "dnssec": "Unsigned",
  "city": "Beijng",
  "expiration_date": [
    "2017-03-11 00:00:00",
    "2017-03-11 05:00:00"
  ],
  "zipcode": "100016",
  "domain_name": "CSDN.NET",
  "country": "CN",
  "whois_server": "whois.networksolutions.com",
  "state": "Beijing",
  "registrar": "NETWORK SOLUTIONS, LLC.",
  "referral_url": "http://networksolutions.com",
  "address": "B3-2-1 ZHaowei Industry Park",
  "name_servers": [
    "NS3.DNSV3.COM",
    "NS4.DNSV3.COM"
  ],
  "org": "Beijing Chuangxin Lezhi Co.ltd",
  "creation_date": [
    "1999-03-11 00:00:00",
    "1999-03-11 05:00:00"
  ],
  "emails": [
    "abuse@web.com",
    "Jiangtao@CSDN.NET"
  ]
}
>>>