2019独角兽企业重金招聘Python工程师标准>>> 
心血来潮, 想要了解一下爬虫的基本原理, 本着目的驱动的原则, 想要把某美剧下载网站上的聚集下载链接都爬下来,个人收藏; 第一次写, 不是什么教程,只是记录一下自己的思路和一些留着以后深入的点, 写的太乱,还请轻喷..
既然是目的驱动,因此每个涉及到的点在本文中都点到为止,接下来我自己也会逐步更深入的了解, 文章只是一个备忘录, 以免稍后遗忘;
一个最简单的爬虫,通常有着相似的设计思路: 从一个页面开始, 分析得到所有感兴趣的内容(保存)和链接, 再依次访问这些链接进行同样的操作, 直到不能继续为止:
1. 记住已经访问过的链接,再次遇到时不会访问,避免陷入循环(x)
2. 以合适的结构和方式存储获取到的数据(x)
因为本文的目的和对应的网站的链接及富有规律性, 且要爬取得内容也很明确(而不是像搜索引擎一样几乎要保存所有内容),因此以上两点均不涉及, 最后只是简单的使用XML保存拿到的数据;
一. 分析对应的站点:
版权问题, 这里掩码了目标网站;
本文要爬取的网站,首先有一个分页的目录, 每页展示一部分美剧的简介和详情页面的链接, 这个页面的地址是: http://www.xxxxx.net/ddc1/page/x 末尾的x是从1开始的自然数;
详情页面的地址是 http://xxxxx.net/archives/xxxxx/ 末尾的xxxxx是随机的1-5位数,无规律,并非每个数字都有页面, 因此详情页面的链接,需要从目录页面提取,以免做很多无用的工作;
目录页面, 每一部剧都在一个class为thumbnail的div中:
<div class="thumbnail">
<a href="http://xxxxx.net/archives/23352/" rel="bookmark" title="生存指南第一季/全集Cooper Barrett.迅雷下载">
<img class="home-thumb" src="http://xxxxx.com/soohf5.jpg" width="140px" height="100px" alt="生存指南第一季/全集Cooper Barrett.迅雷下载"/>
</a>
</div>因此可以很方便的使用下面的正则表达式取出我们需要的内容:
python"><div>.*?<a href="(.*?)" rel="bookmark" title="(.*?)">同理,分析详情页面, 我们得到了下面的正则表达式,取出所有的下载链接:
python"><a href="((magnet|ed2k):.*?)">(.*?)</a>.*? 这个问号,表示着我们需要最小匹配, 因为页面中有着很多循环的内容;
二. http请求
使用urllib2来进行http请求;
首先使用urllib2.Request来封装一次请求, 其中第二个参数,设置了一个header,其中模拟了User-Agent为IE, 简单的以免部分网站拦截我们的爬虫;
最后,对获取到的page,做utf-8解码, 成为unicode (python内部的字符串都是unicode的)
python">self.header = {
'User-Agent': 'Mozilla/4.0 (compatible; MSIE 9.0; Windows NT)'
}
url = self.DIC_LINK + str(page_no)
req = Request(url, headers=self.header)
response = urlopen(req)
cur_page = response.read()
unicode_page = cur_page.decode("utf-8")urlopen方法可能会抛出异常(HTTPError, URLError), HTTPError继承自URLError, 因此应优先捕获HTTPError; HTTPError的code, 是一个整形数, 也就是我们常见的404, 500等http返回码, 经过测试,目录列表的地址,当页数超过了已有的最大页数的时候,网站会返回404, 所以可以把这个当作一个结束的标识;
三. 正则表达式
python的正则表达式用起来很顺手, 引入 re 模块就可以愉快的使用了;
首先使用compile方法获得模式对象, 注意第二个参数 re.S ,使得 . 可以匹配换行符
然后调用findall方法,就能获得所有的匹配了;
正则表达式中, 括号() 围起来的,会成为一个分组, 从左到又, 每遇到一个(, 则分组加1, 因此我们得到的items数组中, 每一个元素,又是一个数组, 这个数组的第一个元素为链接, 第二个元素为title的值;
python"> reg_str = r'<div>.*?<a href="(.*?)" rel="bookmark" title="(.*?)">'
reg = re.compile(reg_str, re.S)
items = re.findall(reg, unicode_page)
四. 结构
下面,可以开始组装逻辑了;
简单的先将需要访问的链接存在一个队列中, 每次从队列中取出链接访问,获取内容;
这样就将爬取目录页面和详情页面的逻辑分开了;
下面是目录页面的方法:
python">def get_show_thread(self):
end = False
for page_no in range(1, 9999):
if end:
break
url = self.DIC_LINK + str(page_no)
req = Request(url, headers=self.header)
flag = True
while flag:
try:
response = urlopen(req)
cur_page = response.read()
unicode_page = cur_page.decode("utf-8")
self.get_show(unicode_page)
flag = False
except HTTPError, e:
print e
if e.getcode() == 404:
self.total = self.total_count
end = True
break
except URLError:
sleep(1)
def get_show(self, unicode_page):
reg_str = r'<div class="thumbnail">.*?<a href="(.*?)" rel="bookmark" title="(.*?)">'
reg = re.compile(reg_str, re.S)
items = re.findall(reg, unicode_page)
self.total_count += len(items)
for item in items:
self.show_link.append(item)使用一个数组show_link,保存要访问的详情页面的链接;
接下来,主线程中, 不断访问show_link, 如果其中有链接, 便取出来访问, 爬取详情页面的下载链接, 之后把这个链接从数组中删除;
python">def get_download_link(self):
while True:
if len(self.show_link) > 0:
url = self.show_link[0][0]
notice = u'抓取' + url.encode('utf-8')
notice += (r' ' + str(self.count) + r'/' + str(self.total_count))
print notice
req = Request(url, headers=self.header)
response = urlopen(req)
cur_page = response.read()
unicode_page = cur_page.decode("utf-8")
reg_str = r'<a href="((magnet|ed2k):.*?)">(.*?)</a>'
reg = re.compile(reg_str, re.S)
items = re.findall(reg, unicode_page)
self.save_links(items, self.show_link[0][1])
del self.show_link[0]
else:
sleep(0.5)--TODO-- 最后,我们按照格式,将得到的数据保存为xml文件 --TODO--
下一篇记录下xml事;
上文中的代码,是截取自完整的代码, 里面有很多变量和一些print, 主要是便于在查看运行进度(1000多个网页,在一台机器顺序执行,且没有做性能优化,因此是很费时间的....);
