requests之get请求实例-百度搜索

视频版教程:一天掌握python爬虫【基础篇】 涵盖 requests、beautifulsoup、selenium

百度搜索请求地址:

python">https://www.baidu.com/s?wd=宝马

如果我们直接用requests.get()进行访问,发现没有返回内容,因为百度服务器通过headers头信息做了反爬手段,所以我们请求的时候,要带上headers头信息;以及requests支持请求参数key:value格式传递,我们可以通过url打印看结果。

所以标准代码案例如下:

python">import requests

url = "https://www.baidu.com/s"

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/117.0.0.0 Safari/537.36'
}

data = {
    'wd': '宝马'
}

r = requests.get(url=url, params=data, headers=headers)
print(r.url)
print(r.status_code)
print(r.text)


http://www.niftyadmin.cn/n/5134570.html

相关文章

【Python机器学习】零基础掌握SkewedChi2Sampler内核近似特征

有没有遇到这样的困扰:即使在拥有大量数据的条件下,传统的机器学习模型表现依然不佳?这时,数据预处理和特征工程成了解决问题的关键步骤。那么,有没有一种算法能够优化特征,提升模型性能呢? 假设一个在线商城希望通过用户行为(比如点击、购买等)来预测用户是否会成为…

创建CI/CD流水线中的IaC前,需要考虑哪些事项?

许多软件工程团队通常会遵循相似的方法来交付基础设施以支持软件开发生命周期。为了缩小基础设施配置方式与应用程序环境部署方式之间的差距,许多 DevOps 团队将其基础设施即代码(IaC)模块直接连接到其 CI/CD 平台。其目的是创建一个直接融入…

【Java 进阶篇】在Java Web应用中获取ServletContext对象详解

在Java Web应用开发中,ServletContext对象扮演着重要的角色,它允许你在整个Web应用程序中存储和共享数据。ServletContext对象是Servlet容器提供的一种用于管理Web应用程序的全局信息的方式。本文将详细探讨ServletContext对象的概念、用途以及如何在Jav…

2023年中国牙钻机优点、产量及市场规模分析[图]

牙钻机,又称为牙科钻机或牙科设备,是一种专用于牙科诊所和牙科医院的医疗设备。它被用来进行牙齿修复、治疗和牙科手术等操作。牙钻机通常由电动马达驱动,带有不同类型的钻头、磨头和其他附件,用于在牙齿上进行各种不同的操作&…

linux 系统编程复习07-信号

1 复习目标 了解信号中的基本概念熟练使用信号相关的函数参考文档使用信号集操作相关函数熟练使用信号捕捉函数signal熟练使用信号捕捉函数sigaction熟练掌握使用信号完成子进程的回收 信号介绍 信号的概念 信号是信息的载体,Linux/UNIX 环境下,古老…

清华大模型XAgent登GitHub热榜!复杂任务轻松搞定

面壁智能联合清华大学NLP 实验室共同研发并推出大模型「超级英雄」——XAgent。 据悉,XAgent在真实复杂任务处理中全面超越 AutoGPT,XAgent自主性强,安全性高,可扩展性好。经过多项基准测试,它采用自然认知层次结构设计…

如何取消磁盘的BitLocker加密?

C盘被加密了,该怎么取消加密呢? 下面提供详细步骤供参考: 步骤1. 打开开始菜单,并点击齿轮图标,打开[设置] 步骤2. 在Windows设置视窗中点击[更新和安全] 步骤3. 点击左侧的[设备加密],然后点击视窗右侧的…

React Hooks 实战案例

文章目录 一、React Hooks 简介二、React Hooks 的基本用法1. 使用 useState 创建状态2. 使用 useEffect 添加副作用 三、React Hooks 的常见问题1. 循环引用问题2. 副作用问题 四、React Hooks 实战案例1. 使用 useReducer 和 Redux:2. 使用 useContext&#xff1a…