基于PYTHON requests包,代理ip+header+延时爬取的简单实现

news/2024/7/19 10:59:44 标签: PYTHON, 爬虫

附上代码,httpbin.org/ip可查看当前访问IP

# coding=utf-8
import urllib2
import random
import time
import requests


def dl():
    a1={
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64)'}
    o_g=['114.239.3.149:808','61.232.254.39:3128','218.18.232.29:8080']
    a=0
    for a in range(0,3):
        proxies_l = {'http': o_g[a],

             }
        print(proxies_l['http'])

        try:
            req=requests.get('http://httpbin.org/ip',headers=a1,proxies=proxies_l)
            print('finish')
            print (req.text)
        except:
            print('no proxies')
        sleep_time=random.randint(1,3)
        time.sleep(sleep_time)
        print('Wait%ds'%sleep_time)

dl()

http://www.niftyadmin.cn/n/746045.html

相关文章

2020金属非金属矿山(小型露天采石场)安全管理人员模拟考试题及金属非金属矿山(小型露天采石场)安全管理人员实操考试视频

题库来源:安全生产模拟考试一点通公众号小程序 2020金属非金属矿山(小型露天采石场)安全管理人员模拟考试题及金属非金属矿山(小型露天采石场)安全管理人员实操考试视频,包含金属非金属矿山(小…

SPSS MODELER支持的自动分类算法

支持的算法 神经网络节点使用的模型是对人类大脑处理信息的方式简化了的模型。此模型通过模拟大量类似于神经元的抽象形式的互连简单处理单元而运行。神经网络是功能强大的一般函数估计器,只需要最少的统计或数学知识就可以对其进行训练或应用。 C5.0 节点构建决策树…

2020煤矿瓦斯检查模拟考试及煤矿瓦斯检查操作证考试

题库来源:安全生产模拟考试一点通公众号小程序 2020煤矿瓦斯检查模拟考试及煤矿瓦斯检查操作证考试,包含煤矿瓦斯检查模拟考试答案解析及煤矿瓦斯检查操作证考试练习。由安全生产模拟考试一点通公众号结合国家煤矿瓦斯检查考试最新大纲及煤矿瓦斯检查考…

2020工具钳工(高级)模拟考试及工具钳工(高级)证考试

题库来源:安全生产模拟考试一点通公众号小程序 2020工具钳工(高级)模拟考试及工具钳工(高级)证考试,包含工具钳工(高级)模拟考试答案解析及工具钳工(高级)证…

对无验证码的问卷星问卷自动填充

目标为问卷星网站的某问卷,问卷星网站有同类网站最鸡贼的反爬机制 频繁访问劝退(短时间同IP22次以上提交)、校验码以及验证码的采用都会阻止爬虫。 事实上,在github上找不到可行的爬虫 # codingutf-8 import urllib2 import rando…

2020资料员-通用基础(资料员)模拟考试题库及资料员-通用基础(资料员)考试试题

题库来源:安全生产模拟考试一点通公众号小程序 2020资料员-通用基础(资料员)模拟考试题库及资料员-通用基础(资料员)考试试题,包含资料员-通用基础(资料员)模拟考试题库答案解析及资料员-通用基础(资料员)考试试题练习。由安全生产模拟考试一点通公众号…

代理IP,爬微信公众号的网页

先通过西刺制作IP代理池,然后伪造USERAGENT 为安卓机或者 苹果机,通过筛选出的可用IP,登陆目标网页,本意是通过电脑抓 包投票的POST 的data和PARA来构造相应项。 但狗腾讯对PC端的限制,PC端只能浏览网页不能投票&am…

2020资料员-岗位技能(资料员)证考试及资料员-岗位技能(资料员)复审模拟考试

题库来源:安全生产模拟考试一点通公众号小程序 2020资料员-岗位技能(资料员)证考试及资料员-岗位技能(资料员)复审模拟考试,包含资料员-岗位技能(资料员)证考试答案解析及资料员-岗位技能(资料员)复审模拟考试练习。由安全生产模拟考试一点通公众号结合…