python爬虫(9)之requests模块

news/2024/7/19 12:02:33 标签: python, 爬虫, 开发语言

1、获取动态加载的数据

1、在开发者工具中查看动态数据

    

找到csdn的门户的开发者工具后到这一页面。

2、加载代码

import requests

headers ={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/122.0.0.0 Safari/537.36 Edg/122.0.0.0'}

param = {'productId': 'python get params'}

resp = requests.get(url='https://www.csdn.net',params=param)

print(resp.json)

print(resp.text)

3、结果如下

2、在网站爬取图片

1、在开发者工具中查看图片

这里也是随便找了一张图。

2、代码

import requests

url = 'https://img-blog.csdnimg.cn/img_convert/a530f8b0e4cc4598a06804c91ab7038b.png?x-oss-process=image/resize,m_fixed,h_300,image/format,png'

resp = requests.get(url=url)

continu = resp.content

with open('图.png','wb') as fp:

     fp.write(continu)

最后这里的with表示将图片保存到跟当前python文件相同目录下,最后也是可以看到成功了

3、结果


http://www.niftyadmin.cn/n/5427279.html

相关文章

【PHP + 代码审计】文件包含

🍬 博主介绍👨‍🎓 博主介绍:大家好,我是 hacker-routing ,很高兴认识大家~ ✨主攻领域:【渗透领域】【应急响应】 【Java、PHP】 【VulnHub靶场复现】【面试分析】 🎉点赞➕评论➕收…

(已解决)问题:安装完Texstudio提醒:系统中未发现Latex发行版本,相应的.......

目录 1.具体问题见下图2.解决方案3.安装MiKTex 1.具体问题见下图 2.解决方案 去官网安装MiKTex,(Tex Live 不需要太慢了还报错) 官网:https://miktex.org/download 3.安装MiKTex 更改一下安装盘符,其它的一路点击下一步即可。 然后打开Texstu…

Python 界面逻辑分离示例

本示例使用的发卡设备:https://item.taobao.com/item.htm?id615391857885&spma1z10.5-c.w4002-21818769070.11.6cc85700Robi3x 一、Python 安装PyQt5,运行 Qt Designer 新建窗体文件,在窗体中拖放控件 完成界面设计,保存为…

【unity资源加载与优化章】Profiler优化工具详解

👨‍💻个人主页:元宇宙-秩沅 👨‍💻 hallo 欢迎 点赞👍 收藏⭐ 留言📝 加关注✅! 👨‍💻 本文由 秩沅 原创 👨‍💻 收录于专栏:Uni…

不是Jenkins玩不起,而是脚本更有性价比,在1Panel中使用Node搭建前端自动化

前言 公司测试环境的运维管理面板是1Panel,由于近期有新项目的开发,部署功能并不完善,每次版本的发布需要开发人员在自己电脑上build并通过压缩包手动进行操作发布,这么做既降低了效率,还会导致操作的不一致性&#x…

【OJ】K 个一组翻转链表

题目 基本思路&#xff1a;用计数栈实现分段&#xff0c;K个一组地翻转链表。 #include <bits/stdc.h> #include <stack> using namespace std;struct list_node {int val;struct list_node *next; };list_node *input_list() {int val, n;scanf("%d", …

网络学习:9个计算机的“网络层”知识点

目录 一、IP 地址 1.1 分类表示法&#xff1a; 1.1.1 分类表示地址的其他说明 1.2 无分类编址 CIDR 二、IP 数据报文格式 Q: IP 报文里有什么&#xff1f;可以不按顺序或者字节来讲一讲 三、 路由概念 3.1 路由表 3.2 路由网络匹配 3.3 ARP 解析 3.4 RARP 逆地址解析…

XIAO ESP32S3部署Edge Impulse模型

在上一篇文章中我们介绍了如何使用edge impulse训练一个图片分类模型并导出arduino库文件。在这篇文章中我们将介绍如何在esp32s3中部署这个训练好的图片分类模型。 添加进Arduino库 有两种方法将下载的文件添加进Arduino库。 在Arduino IDE程序中&#xff0c;转到项目选项卡…