项目实践《小说网站数据爬取》

news/2024/7/19 9:45:11 标签: python, 爬虫

文章目录

  • 一、前言
  • 二、导库部分：
  • 三、预定义请求参数部分：
  • 四、“起点小说”网站
    • 发起请求并解析得到的HTML：
    • 获取所有章节和链接：
    • 保存得到的章节内容：
  • 五、“起点小说”网站完整版脚本
  • 六、“笔趣阁”网站
    • 预定义参数部分：
    • 主程序部分：
    • 保存得到的章节内容：
  • 七、“笔趣阁”网站完整版脚本

一、前言

欢迎阅读本篇博客，在这里，我们将探索如何使用Python进行网站数据抓取。数据抓取，或称为网页爬虫，是一种从网站上自动提取信息的技术。在现代数据驱动的世界中，这一技巧尤其宝贵。不论是为了个人学习，研究目的，还是企业收集行业数据，掌握如何从网络中提取有价值的数据无疑都是一个重要的技能。、
在这篇博客的接下来几个部分中，我将向您展示如何使用Python中的一些库来获取网站数据。我们将以实际案例“起点小说”和“笔趣阁”网站为例，一步步通过代码详细说明这一过程。由于我们必须尊重网站的服务负载，time库能够帮助我们在请求间增加适当的延时，避免因为请求过于频繁而触发网站的防爬措施。
在下文的代码示范中，我们将实践如何使用这些库，并详细讲解每一行代码对应的功能和背后的逻辑。

二、导库部分：

使用了三个Python库，分别是requests，BeautifulSoup和time。其中，requests用于发出http请求，BeautifulSoup用于解析HTML网页，time用于控制请求频率。

#导库
import requests
from bs4 import BeautifulSoup
import time

三、预定义请求参数部分：

定义了目标URL和请求头headers。URL是待抓取的小说目录页面地址，headers中包含了User-Agent等键值对，这些信息用于模拟正常的浏览器行为，防止服务端识别到此次请求是爬虫程序发出的。

#请求
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.82 Safari/537.36',
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',
    'Accept-Language': 'en-US,en;q=0.9,zh-CN;q=0.8,zh;q=0.7',
    'Accept-Encoding': 'gzip, deflate, br',
    'DNT': "1",
    'Connection': 'keep-alive',
    'Upgrade-Insecure-Requests': '1',
    'Sec-Fetch-Site': 'none',
    'Sec-Fetch-Mode': 'navigate',
    'Sec-Fetch-User': '?1',
    'Sec-Fetch-Dest': 'document',
    'Cookie':'_csrfToken=VNpSGeOeI4x9OxUNY7BeYEbL12i4sRAy0H3BYg15; newstatisticUUID=1710636870_1641355660; fu=191679000; traffic_utm_referer=https%3A//cn.bing.com/; supportwebp=true; w_tsfp=ltvgWVEE2utBvS0Q6Krvl02mETg7Z2R7xFw0D+M9Os09AKUiWpaE04F8utfldCyCt5Mxutrd9MVxYnGBUNUtdRAXQsmZb5tH1VPHx8NlntdKRQJtA5LUW1FKduhwuDBPKmxbcUDk32coIdZJyb1n2wgFunYn37ZlCa8hbMFbixsAqOPFm/97DxvSliPXAHGHM3wLc+6C6rgv8LlSgW2DugDuLi11A7lK1EOW1i8cG3pV8w2pJbsDal7wcpK9Uv8wrTPzwjn3apCs2RYj4VA3sB49AtX02TXKL3ZEIAtrZUqukO18Lv3wdaN4qzsLVP1NGFhDqVwRs+o5/01LDXvsNn2KA/l7tlIGRPNbrcq+NA=='}

其中除’Cookie‘标签请求头以外的请求头较为常见不做过多讲述，直接用就好。Cookie请求头每个网站页面的都不同，出处如下：
1.找到想要爬取的网站，按F2打开开发者模式，以下用有较为复杂发爬取措施的“起点小说网站”作为示范，如果掌握了那么其他网站的操作也不再话下。
在这里插入图片描述
2.可以看到，因为反爬取措施，我们的开发者模式会一直卡在调试阶段无法获取资源。下面我们将利用断点操作导出正常界面。（按照如图操作，打开源代码，点击断电停用，点击恢复脚本执行）
在这里插入图片描述
3.操作完成后就可以开启开发者模式，接下来（按照如图操作，打开网络，点击清除网络日志，刷新，点击js文件）

在这里插入图片描述
4.就可以看到文件下的’Cookie‘标签拿到后复制#请求代码中就可以拥有访问权限
在这里插入图片描述

四、“起点小说”网站

发起请求并解析得到的HTML：

调用requests库的get方法发出GET请求，然后用BeautifulSoup解析接收到的HTML页面。

res = requests.get(url,headers=headers)

获取所有章节和链接：

从解析得到的HTML中找出所有class为’chapter-name’的a标签元素，因为这些a标签包含了章节的名称和链接。
对找出的每个a标签，使用[‘href’]获取其href属性值，即章节的相对链接。分割链接得到章节的id，然后构造新的URL作为具体章节页面的链接。
再次发起GET请求，获取具体章节的HTML页面，然后用BeautifulSoup进行解析。
在解析得到的HTML中找出所有p标签元素，这些p标签包含了这个章节的文本内容。

#处理数据
bs = BeautifulSoup(res.text,'html.parser')

#获取所有章节
bs_a = bs.find_all('a',class_='chapter-name')
# for i in range(len(bs_a)):
#     print(bs_a[i].text)

#获取所有章节链接
for i in bs_a:
    id = i['href'].split('/')[-2]
    url2 = f"https://www.qidian.com/chapter/1038464373/{id}"+"/"
    res2 = requests.get(url2, headers=headers)

    bs2 = BeautifulSoup(res2.text, 'html.parser')
    bs2_p = bs2.find_all('p')
    time.sleep(1)

保存得到的章节内容：

用with语句打开一个新的txt文件，文件名等于章节的名字。然后遍历所有的p标签，将其中的文本内容写入到文件中，每个p标签的文本后都添加一个换行符。这一步完成后，就成功地把小说的一章保存到本地文件里了。

 with open(f"{i.text}.txt", 'a', encoding='utf-8') as f:
        for j in bs2_p:
            f.write(j.text)
            f.write('\n')

五、“起点小说”网站完整版脚本

整个脚本的基本流程是：先获取目录页，查找出所有章节的链接和名字，然后进入每个具体的章节页面，获取章节的文本内容，最后将内容保存到txt文件中。每处理完一章都暂停1秒，以免访问过快而被服务器封锁。

#起点小说网站
#导库
import requests
from bs4 import BeautifulSoup
import time

#寻址
url = "https://www.qidian.com/book/1038464373/"

#请求
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.82 Safari/537.36',
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',
    'Accept-Language': 'en-US,en;q=0.9,zh-CN;q=0.8,zh;q=0.7',
    'Accept-Encoding': 'gzip, deflate, br',
    'DNT': "1",
    'Connection': 'keep-alive',
    'Upgrade-Insecure-Requests': '1',
    'Sec-Fetch-Site': 'none',
    'Sec-Fetch-Mode': 'navigate',
    'Sec-Fetch-User': '?1',
    'Sec-Fetch-Dest': 'document',
    'Cookie':'_csrfToken=VNpSGeOeI4x9OxUNY7BeYEbL12i4sRAy0H3BYg15; newstatisticUUID=1710636870_1641355660; fu=191679000; traffic_utm_referer=https%3A//cn.bing.com/; supportwebp=true; w_tsfp=ltvgWVEE2utBvS0Q6Krvl02mETg7Z2R7xFw0D+M9Os09AKUiWpaE04F8utfldCyCt5Mxutrd9MVxYnGBUNUtdRAXQsmZb5tH1VPHx8NlntdKRQJtA5LUW1FKduhwuDBPKmxbcUDk32coIdZJyb1n2wgFunYn37ZlCa8hbMFbixsAqOPFm/97DxvSliPXAHGHM3wLc+6C6rgv8LlSgW2DugDuLi11A7lK1EOW1i8cG3pV8w2pJbsDal7wcpK9Uv8wrTPzwjn3apCs2RYj4VA3sB49AtX02TXKL3ZEIAtrZUqukO18Lv3wdaN4qzsLVP1NGFhDqVwRs+o5/01LDXvsNn2KA/l7tlIGRPNbrcq+NA=='}
res = requests.get(url,headers=headers)

#处理数据
bs = BeautifulSoup(res.text,'html.parser')

#获取所有章节
bs_a = bs.find_all('a',class_='chapter-name')
# for i in range(len(bs_a)):
#     print(bs_a[i].text)

#获取所有章节链接
for i in bs_a:
    id = i['href'].split('/')[-2]
    url2 = f"https://www.qidian.com/chapter/1038464373/{id}"+"/"
    res2 = requests.get(url2, headers=headers)

    bs2 = BeautifulSoup(res2.text, 'html.parser')
    bs2_p = bs2.find_all('p')
    time.sleep(1)
    with open(f"{i.text}.txt", 'a', encoding='utf-8') as f:
        for j in bs2_p:
            f.write(j.text)
            f.write('\n')

六、“笔趣阁”网站

这个Python脚本是用来抓取“笔趣阁”网站上的小说内容，并将内容保存到本地的txt文件中。以下是对每个部分的解析：

预定义参数部分：

定义了请求的headers和url。headers中的User-Agent字段用于模拟浏览器请求，防止服务器识别出非浏览器的访问并进行拦截。url是待抓取小说的目录页地址。
相比于”起点小说“没有反爬措施直接用

#请求
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.82 Safari/537.36',
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',
    'Accept-Language': 'en-US,en;q=0.9,zh-CN;q=0.8,zh;q=0.7',
    'Accept-Encoding': 'gzip, deflate, br',
    'DNT': "1",
    'Connection': 'keep-alive',
    'Upgrade-Insecure-Requests': '1',
    'Sec-Fetch-Site': 'none',
    'Sec-Fetch-Mode': 'navigate',
    'Sec-Fetch-User': '?1',
    'Sec-Fetch-Dest': 'document',
    }

或者只写第一行也行

headers = {
     'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/122.0.0.0 Safari/537.36'
}

主程序部分：

发起请求获取小说目录页内容，然后使用BeautifulSoup解析获取到的HTML内容。
使用select方法选取所有章节链接的html元素，并将返回的列表赋值给soup_html。
遍历soup_html，对每个元素，使用[“href”]获取其链接，使用.text获取其文本内容（即章节名）。如果链接包含"/book"，说明是有效的章节链接。
定义新的URL为章节的完整链接，然后发起请求获取该章节的页面内容，并使用BeautifulSoup解析。
使用find_all方法获取章节页面中id为"chaptercontent"的元素，这个元素中包含了章节的文本内容。

res = requests.get(url,headers=headers)

soup = BeautifulSoup(res.text,"html.parser")

soup_html = soup.select("div.listmain dl dd a")#子元素选择,select返回的是列表

for html in soup_html:
    href = html["href"]  #获取href属性
    name = html.text  #获取文本信息
    if "/book" in href:
        new_url = f"https://www.bqg70.com{href}"
        new_res = requests.get(url=new_url,headers=headers)
        new_soup = BeautifulSoup(new_res.text,"html.parser")
        div_id = new_soup.find_all("div",id = "chaptercontent")

保存得到的章节内容：

使用with语句打开一个文件，文件名为章节名，并打印正在下载的信息。然后使用write方法将章节内容写入到文件中。

        with open(f"txt/{name}.txt",mode="a",encoding="utf-8") as f:
            print(f"正在下载：《{name}》,请稍后~~~")
            f.write(div_id[0].prettify().replace("<br>","").replace("<br/>","\n").replace('<div class="Readarea ReadAjax_content" id="chaptercontent">',""))#prettify()获取标签内html的代码
            time.sleep(1)
#prettify()获取标签里的html信息,比text文本信息更全面

七、“笔趣阁”网站完整版脚本

整个脚本的主要任务是爬取“笔趣阁”网站上的小说内容，并将内容下载到本地的txt文件中。它以章节为单位，对每一个章节都创建一个对应的txt文件。在下载的过程中，还设置了提示信息和延时，使得脚本的运行更加人性化和安全。

#笔趣阁
#导库
import requests
from bs4 import BeautifulSoup
import time

headers = {
     'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/122.0.0.0 Safari/537.36'
}
url = "https://www.bqg70.com/book/72268/"

res = requests.get(url,headers=headers)

soup = BeautifulSoup(res.text,"html.parser")

soup_html = soup.select("div.listmain dl dd a")#子元素选择,select返回的是列表

for html in soup_html:
    href = html["href"]  #获取href属性
    name = html.text  #获取文本信息
    if "/book" in href:
        new_url = f"https://www.bqg70.com{href}"
        new_res = requests.get(url=new_url,headers=headers)
        new_soup = BeautifulSoup(new_res.text,"html.parser")
        div_id = new_soup.find_all("div",id = "chaptercontent")
        with open(f"txt/{name}.txt",mode="a",encoding="utf-8") as f:
            print(f"正在下载：《{name}》,请稍后~~~")
            f.write(div_id[0].prettify().replace("<br>","").replace("<br/>","\n").replace('<div class="Readarea ReadAjax_content" id="chaptercontent">',""))#prettify()获取标签内html的代码
            time.sleep(1)
#prettify()获取标签里的html信息,比text文本信息更全面

http://www.niftyadmin.cn/n/5435880.html

相关文章

Windows系统安装GeoServe结合内网穿透实现公网访问本地位置信息服务

Windows系统安装GeoServe结合内网穿透实现公网访问本地位置信息服务

文章目录 前言1.安装GeoServer2. windows 安装 cpolar3. 创建公网访问地址4. 公网访问Geo Servcer服务5. 固定公网HTTP地址 前言 GeoServer是OGC Web服务器规范的J2EE实现&#xff0c;利用GeoServer可以方便地发布地图数据&#xff0c;允许用户对要素数据进行更新、删除、插入…
阅读更多...
将查询出来数据中相对应的字段根据枚举类更改为其中文内容

将查询出来数据中相对应的字段根据枚举类更改为其中文内容

&#x1f413;1.通过mapper.xml文件中的内容使用casewhen进行更换字段内容 SELECT case user_type when 101000 then 李明 when 101001 then 王丽 when 101002 then 王小黑 when 101003 then 王大黑 when 101004 then 超级大王 when 101005 then 小董 else end as 别称 from…
阅读更多...
C++ 智能指针的使用

C++ 智能指针的使用

智能指针类型 在C程序中&#xff0c;普通变量使用栈内存&#xff0c;为函数运行时专用&#xff0c;结束后会自动释放&#xff0c;无须考虑内存释放问题。 但堆内存是共用的&#xff0c;其使用是通过指针变量的new来分配&#xff0c;使用delete来释放&#xff0c;因指针使用方便…
阅读更多...
SpringBoot中引入了springcloud-gateway，路由不生效为什么？

SpringBoot中引入了springcloud-gateway，路由不生效为什么？

今天闲来无事&#xff0c;想看看springcloud-gateway的&#xff0c;于是自开始搭建gateway但是&#xff0c;搭建完成后想验证&#xff0c;发现有问题总会报404&#xff0c;接下来详细说下操作过程&#xff0c; 1.首先创建2个springBoot的工程。一个作为gateway 一个可以作为路…
阅读更多...
代码随想录阅读笔记-哈希表【四数之和】

代码随想录阅读笔记-哈希表【四数之和】

题目 给定一个包含 n 个整数的数组 nums 和一个目标值 target&#xff0c;判断 nums 中是否存在四个元素 a&#xff0c;b&#xff0c;c 和 d &#xff0c;使得 a b c d 的值与 target 相等&#xff1f;找出所有满足条件且不重复的四元组。 注意&#xff1a;答案中不可以包…
阅读更多...
3/14/24数据结构、线性表

3/14/24数据结构、线性表

目录 数据结构 数据结构三要素 逻辑结构 存储结构 数据运算 时间复杂度 空间复杂度 线性表 线性表定义 静态分配 动态分配 线性表插入 线性表删除 十天的时间学完了C语言督学课程&#xff0c;最后终于是可以投入到408的科目学习当中。关于数据结构和算法的学习很多部…
阅读更多...
Java与Go：基本数据类型

Java与Go：基本数据类型

Java 和 Go 在基本数据类型的设计和使用上有着一些显著的差异&#xff0c;本文将从数据范围、内存占用、类型安全性、性能等方面对 Java 和 Go 语言的基本数据类型进行更详细的对比。 1.数字基本类型 Java 提供了六种基本数字数据类型&#xff0c;他们分别是&#xff1a; 整数…
阅读更多...
jenkins Pipeline接入mysql

jenkins Pipeline接入mysql

背景&#xff1a; jenkin pipeline进化过程如下&#xff1a; Jenkins Pipeline 脚本优化实践&#xff1a;从繁琐到简洁 >>>>> Jenkins Pipeline脚本优化&#xff1a;为Kubernetes应用部署增加状态检测>>>>>> 使用Jenkins和单个模板部署多个K…
阅读更多...
最新文章

Copyright @ 2022~2023