[Python3网络爬虫开发实战] 3.1.2-处理异常

news/2024/7/19 10:15:14 标签: 爬虫, python, php

前一节我们了解了请求的发送过程,但是在网络不好的情况下,如果出现了异常,该怎么办呢?这时如果不处理这些异常,程序很可能因报错而终止运行,所以异常处理还是十分有必要的。

urllib的error模块定义了由request模块产生的异常。如果出现了问题,request模块便会抛出error模块中定义的异常。

1. URLError

URLError类来自urllib库的error模块,它继承自OSError类,是error异常模块的基类,由request模块生的异常都可以通过捕获这个类来处理。

它具有一个属性reason,即返回错误的原因。

下面用一个实例来看一下:

 

 

我们打开一个不存在的页面,照理来说应该会报错,但是这时我们捕获了URLError这个异常,运行结果如下:

 

 

程序没有直接报错,而是输出了如上内容,这样通过如上操作,我们就可以避免程序异常终止,同时异常得到了有效处理。

2. HTTPError

它是URLError的子类,专门用来处理HTTP请求错误,比如认证请求失败等。它有如下3个属性。

  • code:返回HTTP状态码,比如404表示网页不存在,500表示服务器内部错误等。
  • reason:同父类一样,用于返回错误的原因。
  • headers:返回请求头。

下面我们用几个实例来看看:

 

 

运行结果如下:

 

 

依然是同样的网址,这里捕获了HTTPError异常,输出了reasoncodeheaders属性。

因为URLErrorHTTPError的父类,所以可以先选择捕获子类的错误,再去捕获父类的错误,所以上述代码更好的写法如下:

 

 

这样就可以做到先捕获HTTPError,获取它的错误状态码、原因、headers等信息。如果不是HTTPError异常,就会捕获URLError异常,输出错误原因。最后,用else来处理正常的逻辑。这是一个较好的异常处理写法。

有时候,reason属性返回的不一定是字符串,也可能是一个对象。再看下面的实例:

 

 

这里我们直接设置超时时间来强制抛出timeout异常。

运行结果如下:

 

 

可以发现,reason属性的结果是socket.timeout类。所以,这里我们可以用isinstance()方法来判断它的类型,作出更详细的异常判断。

本节中,我们讲述了error模块的相关用法,通过合理地捕获异常可以做出更准确的异常判断,使程序更加稳健。

转载于:https://www.cnblogs.com/palace/p/9628160.html


http://www.niftyadmin.cn/n/929411.html

相关文章

Linux中vi编译器

进入vi编辑器 打开一个 shell 终端,在说明符后输入 vi和 想要编辑(或建立)的文件名,便可进入 vi 编辑器,其格式如下: vi filename 如果只输入 vi,而不带文件名,也可以进入 vi。这…

如何快速地开发一个微信小程序

如何快速地开发一个微信小程序呢?我觉得作为初学者,最好能有一个模板,然后改这个模板。 同样作为初学者,刚开始的时候我有下面的几个问题,后来通过问同学,我弄清楚了。 微信小程序可以连接MySQL或者SqlServ…

kubernetes DaemonSet资源对象

2019独角兽企业重金招聘Python工程师标准>>> What is a DaemonSet? DaemonSet能够让所有(或者一些特定)的Node节点运行同一个pod。当节点加入到kubernetes集群中,pod会被(DaemonSet)调度到该节点上运行&am…

vue使用vue-router beforEach实现判断用户登录跳转路由筛选

vue使用vue-router beforEach实现判断用户登录跳转路由筛选 :https://www.colabug.com/3306814.html 在开发webApp的时候,考虑到用户体验,经常会把不需要调用个人数据的页面设置成游客可以访问,而当用户进入到一些需要个人数据的,…

从原型链到js中的类和继承

类 百度词条对类的定义:类是一种用户定义类型,也称类类型。每个类包含数据说明和一组操作数据或传递消息的函数。类是对现实生活中一类具有共同特征的事物的抽象。所以类其实就是对像的一种抽象概念,比如说人类就是每个人个体的抽象概念&…

JavaScriptES6中的前五项功能值得掌握

JavaScriptES6为JavaScript语言添加了一系列新特性,其中一些特性更具有开拓性,而且比其他特性更适用。像ES6类例如,虽然新颖,但在现有的JavaScript类创建方法的基础上添加了语法糖,而生成器等功能虽然非常强大&#xf…

数据结构(栈,队列常见问题)

栈和队列 常见提问方式的问题: 1、设入栈顺序为A,B,C,D,E.则出栈序列不可能为(B) A、EDCBA B、ADEBC C、ABCDE D、ABDCE 这种题目都有一种规律:先出来的序号后面一定不能有比他本身小的从小到大排列的序列。 比如 12345 45321 正确…

18软件项目管理与敏捷方法——敏捷制品笔记

00.所有的项目都要经过一个启动阶段,无论它是一个用来讨论高层次需求的简单会议,还是一个更正式的阶段:神品、分析和设计,以及签署公测之前的详细信息。启动过程中传统的投入是指PRD(产品需求文档),有些人说也指MRD(市…