Python实战：获取bing必应壁纸首页的每日一图(仅做学习用)

在这里插入图片描述

需求

老板：微软必应https://cn.bing.com/ 首页的每日一图看着不错，能不能自动获取

我：我试试

网站分析

我们查看网页元素，不难发现背景图就在类名为.img_cont 的标签下
在这里插入图片描述
可是搜索源代码 view-source:https://cn.bing.com/

<div class="img_cont" style="background-image: url(https://s.cn.bing.net/th?id=OHR.BrockenSpecter_ZH-CN5278743909_1920x1080.jpg&amp;rf=LaDigue_1920x1080.jpg); opacity: 1;">

发现style属性中的数据不能直接获取，需要使用到正则提取url

换个方法，试试搜索图片地址:

https://s.cn.bing.net/th?id=OHR.BrockenSpecter_ZH-CN5278743909_1920x1080.jpg

发现有三个地方
在这里插入图片描述
第一处是在header中

<link rel="preload" href="https://s.cn.bing.net/th?id=OHR.BrockenSpecter_ZH-CN5278743909_1920x1080.jpg&amp;rf=LaDigue_1920x1080.jpg&amp;qlt=50" as="image" id="preloadBg" />

第二处在类名为img_cont 的标签中

<div class="img_cont" style="background-image: url(https://s.cn.bing.net/th?id=OHR.BrockenSpecter_ZH-CN5278743909_1920x1080.jpg&amp;rf=LaDigue_1920x1080.jpg); opacity: 1;">

第三处在js代码中

"Image":{"Url":"https://s.cn.bing.net/th?id=OHR.BrockenSpecter_ZH-CN5278743909_1920x1080.jpg\u0026rf=LaDigue_1920x1080.jpg",

代码实现

通过以上分析，我们可以发现，通过id="preloadBg"的元素获取比较方便

此处需要加一个请求头，避免获取不到正常的网页源代码

安装依赖

$ python --version
Python 3.6.5

$ pip install parsel requests

代码示例

python"># -*- coding: utf-8 -*-
"""
@File    : demo.py
@Date    : 2022-10-26
@Author  : Peng Shiyu
"""

import parsel
import requests


def get_bing_image():
    url = 'https://cn.bing.com'

    headers = {
        'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/106.0.0.0 Safari/537.36'
    }

    res = requests.get(url, headers=headers)
    res.encoding = res.apparent_encoding

    sel = parsel.Selector(res.text, base_url=url)

    return sel.css('#preloadBg::attr(href)').extract_first()


if __name__ == '__main__':
    image_url = get_bing_image()
    print(image_url)
#     https://s.cn.bing.net/th?id=OHR.BrockenSpecter_ZH-CN5278743909_1920x1080.jpg&rf=LaDigue_1920x1080.jpg&qlt=50

进一步

我们发现，图片还有一些介绍信息，我们看看能不能拿到

在这里插入图片描述
再次查看源码，我们可以发现，网页中有一个js的变量，包含了页面中壁纸的信息

// 截取部分代码
var _model ={"Headline":"山上的幽灵","Title":"巴尔干中央国家公园的布罗肯现象，保加利亚"}

我们可以通过re正则表达式解析这个json字符串，获取更多的数据

python"># -*- coding: utf-8 -*-
"""
@File    : demo.py
@Date    : 2022-10-26
@Author  : Peng Shiyu
"""
import json
import re

import requests


def get_bing_image():
    url = 'https://cn.bing.com'

    headers = {
        'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/106.0.0.0 Safari/537.36'
    }

    res = requests.get(url, headers=headers)
    res.encoding = res.apparent_encoding

    ret = re.search("var _model =(\{.*?\});", res.text)
    if not ret:
        return

    data = json.loads(ret.group(1))
    image_content = data['MediaContents'][0]['ImageContent']

    return {
        'headline': image_content['Headline'],
        'title': image_content['Title'],
        'description': image_content['Description'],
        'image_url': image_content['Image']['Url'],
        'main_text': image_content['QuickFact']['MainText']
    }


if __name__ == '__main__':
    res = get_bing_image()
    print(json.dumps(res, ensure_ascii=False, indent=2))

输出

{
  "headline": "山上的幽灵",
  "title": "巴尔干中央国家公园的布罗肯现象，保加利亚",
  "description": "万圣节快到了，今天的照片也非常应景，展示了一只“幽灵”，也就是布罗肯现象。尽管看着灵异，但布罗肯现象并非超自然现象。这是一位观察者被投射在阳光对面云层上的阴影。布罗肯现象很少见，但如果你在黎明时分爬上薄雾弥漫的山坡，则有可能幸运地目睹这种现象。只要满足条件，布罗肯现象可以出现在任何地方。在德国哈尔茨山脉的布罗肯峰，当地传说浓雾弥漫的山间有幽灵出没。1780年，约翰·西尔伯施拉格在此观察到了“幽灵”，对其进行了描述记录，并将其命名为“布罗肯现象”。此后，布罗肯现象便常常被记录在有关该地区的文献之中。",
  "image_url": "https://s.cn.bing.net/th?id=OHR.BrockenSpecter_ZH-CN5278743909_1920x1080.jpg&rf=LaDigue_1920x1080.jpg",
  "main_text": "布罗肯现象出现在日出与日落时的高山上，当前面弥漫着雾气时，太阳光将人的背影衍射在雾气上，浮现出彩虹轮廓。"
}