爬虫复杂的请求方法

news/2024/7/19 10:35:20 标签: 爬虫

1.代理IP原理:以本机先访问代理IP,再通过代理IP地址访问互联网,这样网站接受到的访问IP就是代理IP地址。


#代理IP
import requests

proxies = {
    "http":"http://10.10.1.10:3128",
    "https":"http://10.10.1.10:1080",
}

r = requests.get("http://www.baidu.com",proxies = proxies)

2.请求头;


import requests

headers = {
    "User-Agent":"Mozilla/5.0"
}
r = requests.get("http://www.baidu.com",headers = headers)
print(r.status_code)

3.超时设置:发送请求后,由于网络,服务器等因素,请求到获得相应会有一个时间差,如果不想程序等待时间过长或者延长等待时间,可以设定tiemout的等待秒数,超过这个时间之后停止等待响应,如果服务器在timeout秒内没有应答,将会引发一个异常。

r = requests.get("http://www.baidu.com",timeout = 0.1)

4.证书验证
一些特殊的网站需要安装证书,如12306,确保数据传输的安全性程序中通常设置关闭验证即可。默认情况下是True

r = requests.get("http://www.baidu.com",verify = False)

开启证书验证

r = requests.get("http://www.baidu.com",verify = True)

如果需要设置证书文件,可以设置证书路径

r = requests.get("http://www.baidu.com",verify = "证书路径")

http://www.niftyadmin.cn/n/1791152.html

相关文章

【Hexo】Hexo+Github构建个人博客 (一):环境配置

一、安装 Node 下载地址:Node.js 二、安装 Git(win环境下) 下载地址:Git Git 绑定 GitHub账户: 1.打开Git Bash,然后输入两句命令 git config --global user.name "Your Name"git config --globa…

PostgREST docker-compose 试用

PostgREST 是一款很不错的直接将pg 数据库暴露为restapi ,使用了基于行级别安全访问控制, 比较全的restapi 查询以及集成了swagger openapi docker-compose 文件 version: 3 services:server:image: postgrest/postgrestports:- "3001:3000"links:- db:d…

008--linux 基础之网络配置和ssh服务

一、linux网络配置 ifconfig eno16777736 192.168.19.48/24 | eno16777736(网卡名) 192.168.19.48/24(临时IP地址) DNS : vim /etc/resolv.conf 内容显示 (nameserver 202.156.16.47 (DNS地址)) 网关 &…

2018-11-12 签到

转载于:https://blog.51cto.com/14019809/2316100

【CentOS】设置定时任务

定时任务部署 1、crontab -e 编辑任务(进入vim文本编辑)格式:1**** curl http://wx.yiyueai.com/admin.php?sWxTasklist/auto_send 2、vim工具中【i】 进入编辑模式、【Esc】进入命令模式、【:wq】保存并退出。3、crontab -l …

UVALive - 7636 Rational Grading

点击打开题目链接 今天听到了WWe葬爷和战神高博都宣布退役了,一阵心酸。当我一开始看WWe的时候就看的葬爷,他们两个在WWe都贡献了二三十个年头,致敬。 题目大意很好懂,唯一绕的点就是如果一条指令是错误的,下一个指令要…

scrapy框架第一个实例

实例网页:https://python123.io/ws/demo.html 准备工作:在E盘中新建一个文件夹pyscrapyfile 步骤如下: 1.建立一个工程,工程名为python123demo 在命令行下进行E盘中的pyscrapyfile文件夹,输入命令 scrapy startproje…

Nginx安装(TCP代理)

2019独角兽企业重金招聘Python工程师标准>>> 一、Nginx简介 Nginx是一个web服务器也可以用来做负载均衡及反向代理使用,目前使用最多的就是负载均衡,具体简介我就不介绍了百度一下有很多,下面直接进入安装步骤 二、Nginx安装 1、下…