初学爬虫(二):爬取静态网页之(2)获取网页响应内容——requests.get()函数

news/2024/7/19 9:49:01 标签: python, http, 爬虫
http://www.w3.org/2000/svg" style="display: none;">

下面根据一个实例来讲解如何通过requests.get()函数来获取网页响应的内容:

这是CSDN主页的截图:
在这里插入图片描述https://img-blog.csdnimg.cn/20201103191737966.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1MTU0NTY1,size_16,color_FFFFFF,t_70#pic_center" />

获取上图主页内容的代码:

python">import requests #导入requests库

#使用requests.get()函数获取指定网页的内容,返回的是一个response相应对象(里面存储了服务器相应的内容)
r = requests.get('https://www.csdn.net/') 

print("服务器内容使用的文本编码:",r.encoding)
print("状态响应码:",r.status_code)#返回200,表示请求成功;返回4xx,表示客户端错误;返回5xx,表示服务器错误响应。
print("服务器响应的内容:\n",r.text)

在这里插入图片描述https://img-blog.csdnimg.cn/20201103192042404.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1MTU0NTY1,size_16,color_FFFFFF,t_70#pic_center" />
我们就是使用requests.get()函数成功的从目标网页获取了我们需要的内容。


http://www.niftyadmin.cn/n/948543.html

相关文章

初学爬虫(二):爬取静态网页之(3)自定义requests——设置传递URL(网络地址)参数and自定义请求头(怎么找+怎么做)

在初学爬虫(二):爬取静态网页之(2)获取网页响应内容——requests.get()函数中讲解了如何使用requests函数获取网页响应内容。 但是,有些网页不能如上直接被获取,而是需要对requests中的参数进行…

初学爬虫(二):爬取静态网页之(3)自定义requests——发送POST请求and超时处理

1、发送POST请求 从前面初学爬虫(二):爬取静态网页之(3)自定义requests——设置传递URL(网络地址)参数and自定义请求头(怎么找怎么做)中已经讲解过通过get函数设置传递U…

初学数据挖掘——数据探索(六):数据特征分析之相关性分析

相关性分析即分析连续变量之间线性相关程度的强弱,并用合适的统计量或统计图表示出来的过程。 如现在想要分析得到不同菜品之间的相关关系,则可以通过分析这些菜品日销售量之间的相关性来得到。 代码如下: #导入相关包 from __future__ im…

初学爬虫(二):爬取静态网页之(4)使用requests库进行爬虫实践——获取豆瓣电影TOP250的电影名字全过程详解

本实践目的是获取豆瓣电影TOP250的所有电影的名称。 豆瓣电影TOP250网页链接:https://movie.douban.com/top250 1、分析网站 (1)提取请求头 这里以提取谷歌请求头为例: ①双击打开谷歌: ②在页面任意位置单击右键…

初学爬虫(三):使用selenium模拟浏览器抓取动态网页之(1)安装selenium库and对selenium库的基本使用

1、安装selenium库 直接使用最简单的pip命令安装: pip install selenium2、selenium库的基本使用 (1)下载geckodriver(Firefox)/chromedriver(Google chrome) 下面以下载geckodriver为例(读者电脑上若还未安装Firefox火狐浏览…

geckodriver的下载、安装与配置

1、下载geckodriver压缩包 链接:https://pan.baidu.com/s/1u8_lFbCWSc3Bux2Win0v-Q 提取码:2677 下载好后的geckodriver压缩包: 2、解压geckodriver 将1中下载好的geckodriver压缩包解压得到exe文件: 3、将2中得到的exe文件…

将新建的虚拟环境导入到jupyter notebook中

1、新建虚拟环境 见博客: python创建虚拟环境(一):使用conda创建虚拟环境 python创建虚拟环境(二):使用终端命令创建虚拟环境 python创建虚拟环境(三):用pyc…

jupyter notebook 使用新环境无法连接,终端报错[W 20:14:43.988 NotebookApp] KernelRestarter: restart failed

jupyter notebook 显示无法连接(无法运行程序): 终端报错: 解决方法如下: 1、在cmd终端输入以下命令激活需要使用的环境: activate 环境名我在这里输入: activate tensorflow1.0可以发现…