【爬虫基础】第5讲 AJAX动态页面的数据获取

news/2024/7/19 11:14:48 标签: ajax, Python, 爬虫

'''

静态:访问地址栏里的数据就可以获取到想要的数据

动态:访问地址栏里的数据获取不到想要的数据

解决方案:抓包

          打开浏览器的开发者工具-network-xhr,找到可以获取到数据的URL访问即可

'''

获取url地址

 代码实现:

from urllib.request import Request,urlopen
from fake_useragent  import UserAgent

url ='https://www.hupu.com/home/v1/news?pageNo=2&pageSize=50'
headers ={
    'User-Agent':UserAgent().chrome
}
req = Request(url,headers=headers)
resp = urlopen(req)
print(resp.read().decode())

执行结果:


http://www.niftyadmin.cn/n/5454546.html

相关文章

【C++】STL 标准模板库

前言 在前一章种我们介绍了C中的模板的使用,这是一种泛型编程,模板的使用能让我们减少大量的相似代码,减少我们的代码量与工作量,写出更加高效简洁的代码,模板如此好用,但还是要我们先出写一个泛型类或函数…

k8s的flannel和cilium的pod网络访问链路解析

k8s的flannel和cilium的pod网络访问链路解析 1. k8s环境中基础模型1.1. Pod接入网络的具体实现1.1.1. 虚拟网桥1.1.2. 多路复用1.1.3. 硬件交换 1.2. 实现思路1.2.1. 流程图1.2.2 常见插件 2. flannel相关配置2.1. 集群节点的网络分配2.2 各节点flannel分配情况2.3 flannel运行…

JavaSE_方法method 概念 案例分析

在Java中,方法(Method)是类(Class)的一部分,用于定义该类的行为。以下是对Java方法的详细描述: 1. **访问修饰符**:方法可以有访问修饰符,如public、private、protected…

libVLC 动态视频壁纸

在 Windows 上,你可能需要使用 Windows API 来设置壁纸,而在 Linux 上,你可能需要使用某种桌面环境特有的方法。在 macOS 上,这一功能可能受到限制。 效果图如下所示: 以下是一个简单的示例,说明了如何在 …

数据结构和算法:搜索

二分查找 二分查找(binary search) 是一种基于分治策略的高效搜索算法。它利用数据的有序性,每轮缩小一半搜索范围,直至找到目标元素或搜索区间为空为止。 给定一个长度为 𝑛 的数组 nums ,元素按从小到大…

go |struct embedding、generics、goroutine

go 的结构内嵌 注意点,有点像js func main() {fmt.Println("hello zhangbuda...")// 这个内嵌 和 js 有点像co : container{base: base{num: 22,},str: "zhangdbau hahahahah ",}fmt.Println("co: ", co)/*在 Go 语言中,如…

Photoshop 工具使用详解(全集 · 2024版)

全面介绍 Photoshop 工具箱里的工具,点击下列表格中工具名称或图示,即可查阅工具的使用详解。 移动工具Move Tool移动选区、图层和参考线。画板工具Artboard Tool创建、移动多个画布或调整其大小。moVe快捷键:V 矩形选框工具 Rectangular Mar…

Axure中后台系统原型模板,B端页面设计实例,高保真高交互54页

作品概况 页面数量:共 50 页(长期更新) 兼容版本:Axure RP 9/10,不支持低版本 应用领域:网页模板、网站后台、中台系统、B端系统 作品特色 本品为「web中后台系统页面设计实例模板」,默林原创…