python爬虫之爬虫入门

news/2024/7/19 11:15:35 标签: python, 爬虫, 开发语言
python">import requests
r=requests.get("http://www.baidu.com")
print(r.status_code)#用status_code来确定页面状态是否正常
type(r)
r.headers

 requests库入门

  1. status_code可以用来检验网页状态是否正常
  2. type(r)返回r的类型
  3. r.headers返回该页面头部信

运行结果如下:

返回的头部信息:

requests对象属性

属性        说明
r.status_codeHTTP请求返回状态,200表示连接成功,404表示失败
r.text     HTTP响应内容的字符串形式,即url对应的页面内容
r.encoding从HTTPheader中猜测的响应内容编码方式
r.apparent_encoding从内容中分析出的内容编码方式
r.contentHTTP响应内容的二进制形式
 

r.encoding和r.appatren_encoding的区别

        r.encoding是从HTTP头部信息中的charset中获取的,当header中不存在charset时,则认为编码为“ISO-8859-1”

        r.apparent_encoding则是从网页内容中分析出的编码形式

        所以当我们利用r.text查看网页内容时,可看到返回是乱码的

        此时利用r.apparent_encoding获取页面内容编码后将内容方式赋值给encoding后再次查看页面内容时则能正确解读后;所以当使用encoding不能正确解码内容时,我们就使用apparent_encoding。

requests库代码框架 

python">import requests

def getHTMLText(url):
    try:
        r.requests.get(url,timeout=30)
        r.raise_for_status#如果状态不是200,则会引发HTTPError
        r.encoding=r.apparent_encoding#使得解码正常
        return r.text
    except:
        return"产生错误"
if __name__=="__main__":
    url="http//:www.baidu.com"
    print(getHTMLText(url))


http://www.niftyadmin.cn/n/5442372.html

相关文章

pip安装第三方库 报错:You should consider upgrading

问题: 在安装Numpy模块的时候报了以下错误: WARNING: Ignoring invalid distribution -ip (d:\program\pytyhon38\lib\site-packages) WARNING: Ignoring invalid distribution -ip (d:\program\pytyhon38\lib\site-packages) Requirement already satisfied: pip…

Kubernetes与低代码开发应用:实现高效协同开发的新模式

随着数字化转型的不断深入,软件开发行业正在经历着一场革命性的变革。在这场变革中,Kubernetes与低代码开发应用成为了引领行业发展的两大重要力量。本文将探讨如何将Kubernetes与低代码开发应用相结合,实现高效协同开发的新模式。 Kubernete…

mysql Innodb 存储引擎 原理

server 层 用于客户端的链接 1. 链接器 进行链接 与 权限校验 2. 词法分析器(构建词法树) 进行语法分析:判断sql 语法是否正确,确保sql可以执行,并将语句放到词法树 3. 优化器(选择索引) …

VR全景拍摄在酒店应用如何?酒店如何做VR全景营销?

草木蔓发,春山在望,万物复苏,生生不息,正是人间好时节。出行游玩伴随着晴朗的阳光,大好的时光让许多人纷纷把搁置了许久的旅行计划开始实施起来,那么为了旅行更加开心,一个舒适且满意的住宿环境…

CodeWhisperer插件

一、前言 产品官网地址:What is CodeWhisperer? - CodeWhisperer Amazon CodeWhisperer 是一个通用的、由机器学习驱动的代码生成器,可实时为您提供代码建议。在您编写代码时,CodeWhisperer 会根据您现有的代码和注释自动生成建议。您的个…

【win11】删除退出登录的微软邮箱账户,改用本地账户

win11退出microsoft账户怎么操作 (如果你在设置-账户-里可以直接改用本地账户,那就不需要这么麻烦) **1、**假设你的微软账号是:xxxxx.com,winR打开运行,在运行输入框输入regedit,点击确定打开…

【C语言】基本语法知识C语言函数操作符详解

主页:醋溜马桶圈-CSDN博客 专栏:C语言_醋溜马桶圈的博客-CSDN博客 gitee:mnxcc (mnxcc) - Gitee.com 目录 1.基本语法 1.1 代码解释 1.1.1 main()主函数 1.1.2 int 1.1.3 { } 1.1.4 printf()库函数 1.1.5 stdio.h头文件 1.2 C语言的…