〖Python网络爬虫实战⑦〗- requests的使用(一)

news/2024/7/19 12:30:34 标签: python, 爬虫, 开发语言, pycharm, 后端
  • 订阅:新手可以订阅我的其他专栏。免费阶段订阅量1000+

                python项目实战

                Python编程基础教程系列(零基础小白搬砖逆袭)

  • 说明:本专栏持续更新中,目前专栏免费订阅,在转为付费专栏前订阅本专栏的,可以免费订阅付费专栏,可报销(名额有限,先到先得)
  • 作者:爱吃饼干的小白鼠。Python领域优质创作者,2022年度博客新星top100入围,荣获多家平台专家称号。

 最近更新

〖Python网络爬虫实战⑥〗- 多线程和多进程

〖Python网络爬虫实战⑦〗- requests的使用(一)

⭐️ requests的使用(一)

 大家好,今天就来说说requests的基础用法。requests是一个很实用的Python HTTP客户端库,爬虫和测试服务器响应数据时经常会用到,requests是Python语言的第三方的库,专门用于发送HTTP请求,使用起来比urllib简洁很多。

🌟1.准备工作

首先呢,我们要确保我们已经之前安装requests库,如果没有安装,按照下面步骤按照库。

✨pip 安装

无论是 Windows、Linux 还是 Mac,都可以通过 pip 这个包管理工具来安装。

在命令行下运行如下命令即可完成 requests 库的安装:

python">pip3 install requests

这是最简单的安装方式,推荐此种方法安装。

✨验证安装

为了验证库是否已经安装成功,可以在命令行下测试一下:

python">import requests

res = requests.get('https://www.baidu.com/')

print(res)

输入如上内容,如果什么错误提示也没有,那么就证明我们已经成功安装了 requests。

🌟2.实例引入

requests库请求网页用到的是get()方法,下面通过实例来看一下。

python">import requests

res = requests.get('https://www.baidu.com/')

print(type(res))

print(res)

print(res.text)

print(res.cookies)

这里我们调用get()方法实现,得到一个response对象,然后分别输出response的类型,状态码,内容以及cookies。

使用get()方法成功实现一个get()请求这不算什么,更方便的请求还有其他的。比如post(),put()等等。

🌟3.get()请求

HTTP最常见的请求之一就是GET请求,下面我们首先先来了解一下利用requests构建GET的方法

✨基本实例

首先,我们构建一个最简单的get请求,请求的链接如下,该网站会判断如果用户发起的的是get请求的话,它就会返回响应的请求信息。

python">import requests

res = requests.get('http://httpbin.org/get')

print(res.text)

运行的结果如下:

python">{
  "args": {}, 
  "headers": {
    "Accept": "*/*", 
    "Accept-Encoding": "gzip, deflate", 
    "Host": "httpbin.org", 
    "User-Agent": "python-requests/2.27.1", 
    "X-Amzn-Trace-Id": "Root=1-637ae5d7-35da1bf57b139d152585d12a"
  }, 
  "origin": "223.215.67.113", 
  "url": "http://httpbin.org/get"
}

可以发现,我们成功发起了get请求,返回结果中包含请求头,url,IP等信息。

那么,对于GET请求,如果我们想要附加额外信息,一般怎么添加呢?比如讲,现在想添加两个参数,其中name是Tina,age是18。要构造这个请求链接,是不是可以直接写成:

python">r = requests.get('http://httpbin.org/get?name=Tina&age=18')

这样也是可以的,我们还可以通过字典来构造。利用params这个参数就好了。

python">import requests

data = {

    'name':'Tina',
    
    'age':'18'
    }

res = requests.get('http://httpbin.org/get',params = data)

print(res.text)

运行结果如下:

python">{
  "args": {
    "age": "18", 
    "name": "Tina"
  }, 
  "headers": {
    "Accept": "*/*", 
    "Accept-Encoding": "gzip, deflate", 
    "Host": "httpbin.org", 
    "User-Agent": "python-requests/2.27.1", 
    "X-Amzn-Trace-Id": "Root=1-637ae902-695483e87b26b3ad49d15df7"
  }, 
  "origin": "223.215.67.113", 
  "url": "http://httpbin.org/get?name=Tina&age=18"
}

通过运行结果判断,请求的链接自动变成了带有后缀的链接。

另外,网页返回的类型实际上是str,但是它是json()格式的,我们可以用json返回一个字典。如果不是json格式,使用json就会报错,抛出json.decoder.JSONDecodeError异常。

🌟4.post()请求

上面我们了解了最基本的get请求,另外一种比较常见的请求方式就是post()。使用requests实现post请求也是非常简单,示例如下。

python">import requests

res = requests.post('http://httpbin.org/post')

print(res.text)

运行之后就会发现得到了结果,就说明我们post请求成功。

 🌟5.响应

发送请求,之后得到的肯定就是响应。除了text,还有状态码,响应头,cookies等等。

requests 库可以用来发送 HTTP 请求并获取响应。当你发送一个 HTTP 请求时,你会得到一个 Response 对象,它包含了从服务器返回的所有数据。Response 对象有以下属性:

  • status_code:HTTP 状态码,表示服务器的响应状态。
  • headers:一个字典,其中包含了从服务器返回的所有头部信息。
  • body:一个字节串,包含了从服务器返回的所有数据。

🌟总结

        requests是一个很实用的Python HTTP客户端库,爬虫和测试服务器响应数据时经常会用到,requests是Python语言的第三方的库,专门用于发送HTTP请求,使用起来比urllib简洁很多。

        本文我们说了requests的简单用法,知道了如何发送请求,下一篇我们更深层次的来学习requests。我们看看高级一点的操作,比如讲文件上传,cookies设置,代理设置之类的。


http://www.niftyadmin.cn/n/207750.html

相关文章

19_I.MX6ULL_SPI实验

目录 SPI简介 I.MX6U ECSPI简介 相关寄存器 ICM-20608简介 实验源码 SPI简介 同I2C一样,SPI是很常用的通信接口,也可以通过SPI来连接众多的传感器。相比I2C接口, SPI接口的通信速度很快, I2C最多400KHz,但是SPI可以到达几十MHz。I.MX6U也有4个SPI接口,可以通过这4个SPI接…

AI作图的多个站点效果对比

相同的prompt 原文(网上随意搜了篇中学生作文范文):秋天的风声是令人心动的。风凉凉的,吹在皮肤上,有些许寒意却让人十分享受这种感觉。只听这顽皮的稚童从你身边溜过,丝丝滑滑,百转千回&#…

Ruby设计-开发日志

Log 1 产品 Product 1.1 创建 Product 创建名为 project 的 rails 应用 rails new project创建 Product 模型 rails generate scaffold Product title:string description:text image_url:string price:decimal这会生成一个 migration ,我们需要进一步修改这个…

奔驰C级安全配置升级,22款奔驰C260运动升级原厂360全景影像

大家好,我是小志bzs878,专注名车原厂升级,欢迎戳戳右上角“”号关注一下,持续为您带来精彩改装案例。 改装车型:22款奔驰C260L运动 改装项目:原厂360全景影像 之前分享了刚提车就来升级的,今…

axios 导出excel表格 文件流格式

1、发送请求 const export_excelfunction(){ axios({ method:“post”, url:url, responseType: “blob” }); }; 2、下载导出方法 const downLoadFilefunction(content,fileName){ var ele document.createElement(‘a’);// 创建下载链接 ele.download fileName;//设置下载…

【C++】list的模拟实现及其应用

文章目录list的相关介绍list的使用list构造list iterator的使用list capacitylist element accesslist modifierslist迭代器失效sort问题list模拟实现的完整代码list与vector的对比list的相关介绍 list是可以在常数范围内在任意位置进行插入和删除的序列式容器,并且…

PHP实现使用函数求多位数值的位数,使用函数输入3个数求和,并以表单形式输出的两个代码程序

目录 前言 一、使用函数求多位数值的位数 1.1运行流程(思想) 1.2代码段 1.3运行截图 二、使用函数输入3个数求和,并以表单形式输出 2.1运行流程(思想) 2.2代码段 2.3运行截图 前言 1.因多重原因,…

jumpserver 远程执行漏洞分析和复现

0 简介JumpServer是一款开源的堡垒机,是符合4A规范的运维安全审计系统,通俗来说就是跳板机。2021年1月15日,JumpServer发布安全更新,修复了一处远程命令执行漏洞。由于JumpServer某些接口未做授权限制,攻击者可构造恶意…