Python3爬虫——爬取猫眼电影排行

一.爬取猫眼电影排行

目标：提取猫眼电影TOP100的电影排名、名称、主演、上映时间、评分、海报链接。

URL：https://maoyan.com/board/4

保存：JSON

# 版本：Python3
# 目标：提取猫眼电影TOP100的电影影名、主演、上映时间、评分、海报链接。
# URL：https://maoyan.com/board/4
# 保存：JSON

import json
import requests
from requests.exceptions import RequestException
import re
import time

# 抓取首页，添加headers避免网站对爬虫的限制
def get_one_page(url):
    try:
        headers = {
            'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.92 Safari/537.36'
        }
        response = requests.get(url,headers=headers)
        if response.status_code == 200:
            return response.text
        return None
    except RequestException:
        return None

# 通过正则表达式提取内容，处理匹配结果，遍历提取结果并生成字典
def parse_one_page(html):
    pattern = re.compile('<dd>.*?board-index.*?>(\d+)</i>.*?data-src="(.*?)".*?name"><a'
                         + '.*?>(.*?)</a>.*?star">(.*?)</p>.*?releasetime">(.*?)</p>'
                         + '.*?integer">(.*?)</i>.*?fraction">(.*?)</i>.*?</dd>', re.S)
    items = re.findall(pattern,html)
    for item in items:
        yield {
            '排名':item[0],
            '海报链接':item[1],
            '影名':item[2],
            '主演':item[3].strip()[3:],
            '上映时间':item[4].strip()[5:],
            '评分':item[5]+item[6]
        }

# 将结果写入文件，通过JSON库的dumps()方法实现字典的序列化
def write_to_file(content):
    with open('猫眼排名.txt','a',encoding='utf-8') as f:
        f.write(json.dumps(content,ensure_ascii=False) + '\n')

# 分页爬取，offset为偏移量，构造URL进行爬取
def main(offset):
    url = 'https://maoyan.com/board/4?offset=' + str(offset)
    html = get_one_page(url)
    for item in parse_one_page(html):
        print(item)
        write_to_file(item)

if __name__ == '__main__':
    for i in range(10):
        main(offset=i*10)
        time.sleep(1)

注意：在看网页源代码写正则表达式的时候，不要在Elements选项中直接查看，因为这里的源码可能经过了JavaScript操作与原始请求不同，而是要从Network选项卡部分查看原始请求得到的源码。