mitmproxy代理

news/2024/7/19 12:35:05 标签: python, 爬虫, 代理模式

文章目录

  • mitmproxy
    • 1. 网络代理
    • 2. 安装
    • 3. Https请求
      • 3.1 启动mitmproxy
      • 3.2 获取证书
      • 3.3 配置代理
      • 3.4 运行测试
    • 4. 请求
      • 4.1 读取请求
      • 4.2 修改请求
      • 4.3 拦截请求
    • 5. 响应
      • 5.1 读取响应
      • 5.2 修改响应
    • 6. 案例:共享账号
      • 6.1 登录bilibili获取cookies
      • 6.2 在代理请求中设置cookies

mitmproxy

mitmproxy是一个代理工具(软件安装 或 Python模块安装),实现代理请求(拦截请求或修改请求)。

1. 网络代理

网络代理是一种位于客户端和服务器之间的中间服务器,它充当客户端与目标服务器之间的中间人。当客户端发送请求时,请求首先被发送到代理服务器,然后由代理服务器转发给目标服务器,并将目标服务器的响应返回给客户端。

代理服务器的作用可以有多种形式,包括:

  1. 隐藏真实的客户端IP地址:代理服务器可以屏蔽客户端的真实IP地址,使目标服务器无法直接获取到客户端的真实位置信息。这种方式可以提供一定的匿名性和隐私保护。
  2. 缓存和加速:代理服务器可以缓存目标服务器的响应,当其他客户端请求相同的资源时,代理服务器可以直接返回缓存的响应,减少了对目标服务器的访问,提高了访问速度和网络效率。
  3. 过滤和访问控制:代理服务器可以根据设置的规则对请求进行过滤和访问控制。例如,可以通过代理服务器实现对特定网站或内容的屏蔽,或者对特定客户端的访问进行限制。
  4. 突破网络限制:在某些情况下,代理服务器可以用于突破网络限制。例如,当访问某些网站受到地理位置限制或网络审查时,可以通过使用代理服务器来绕过这些限制。
  5. 负载均衡:代理服务器可以作为负载均衡器,将请求分发到多个目标服务器上,以实现更好的性能和可靠性。

mitmproxy是一款流行的开源代理工具,用于拦截、修改和观察网络流量。它可以用于网络安全测试、调试和逆向工程等场景。

请添加图片描述

2. 安装

在安装前需要去下载Visual C++ Build Tools for Visual Studio 2015安装到电脑。

https://my.visualstudio.com/Downloads?q=Visual%20Studio%202015%20update%203

请添加图片描述

解压 mu_visual_cpp_build_tools_2015_update_3_x64_dvd_dfd9a39c.iso文件,然后默认安装。

用pip安装mitmproxy:

pip install mitmproxy

3. Https请求

如果想要让mitmproxy支持:http和https请求,就需要安装证书。

3.1 启动mitmproxy

>>>mitmdump -q  -p 8888 -s test.py

请添加图片描述

python">from mitmproxy import http


def request(flow: http.HTTPFlow):
    print("请求->", flow.request.url)


def response(flow: http.HTTPFlow):
    ...

3.2 获取证书

在电脑 C:\Users\Administrator\.mitmproxy 中去获取。

请添加图片描述

双击下载证书

请添加图片描述

请添加图片描述
请添加图片描述

3.3 配置代理

请添加图片描述

3.4 运行测试

请添加图片描述

4. 请求

4.1 读取请求

python">from mitmproxy import http
from mitmproxy.http import Request


def request(flow):
    print("请求-->", flow.request.url)
    print("请求-->", flow.request.host)
    print("请求-->", flow.request.path)
    print("请求-->", flow.request.query)
    print("请求-->", flow.request.cookies)
    print("请求-->", flow.request.headers)
    print("请求-->", flow.request.method)
    print("请求-->", flow.request.content)


def response(flow: http.HTTPFlow):
    pass

4.2 修改请求

python">from mitmproxy import http


def request(flow):
    flow.request.url = "https://www.baidu.com/"


def response(flow: http.HTTPFlow):
    pass

请添加图片描述

4.3 拦截请求

可以拦截请求,并放回指定内容

python">from mitmproxy import http
from mitmproxy.http import HTTPFlow
from mitmproxy.http import Response


def request(flow: HTTPFlow):
    if flow.request.url.startswith("https://dig.chouti.com/"):
        flow.response = Response.make(
            200,  # (optional) status code
            b"Hello World",  # (optional) content
            {"Content-Type": "text/html"}  # (optional) headers
        )


def response(flow: http.HTTPFlow):
    pass

请添加图片描述

也可以直接kill请求

python">from mitmproxy import http
from mitmproxy.http import Request
from mitmproxy.http import HTTPFlow


def request(flow: HTTPFlow):
    if flow.request.url.startswith("https://dig.chouti.com/"):
        flow.kill()


def response(flow: http.HTTPFlow):
    pass

5. 响应

5.1 读取响应

python">from mitmproxy import http
from mitmproxy.http import HTTPFlow


def request(flow: HTTPFlow):
    ...


def response(flow: http.HTTPFlow):
    print(flow.request.url)

    print(flow.response.status_code)
    print(flow.response.cookies)
    print(flow.response.headers)
    print(flow.response.content)

5.2 修改响应

python">from mitmproxy import http
from mitmproxy.http import HTTPFlow, Response


def request(flow: HTTPFlow):
    ...


def response(flow: http.HTTPFlow):
    flow.response = Response.make(
        200,  # (optional) status code
        b"Hello World",  # (optional) content
        {"Content-Type": "text/html"}  # (optional) headers
    )

请添加图片描述

6. 案例:共享账号

6.1 登录bilibili获取cookies

python">from mitmproxy import http
from mitmproxy.http import HTTPFlow


def request(flow: HTTPFlow):
    print(flow.request.url)
    print(flow.request.cookies)



def response(flow: http.HTTPFlow):
    ...

请添加图片描述

6.2 在代理请求中设置cookies

python">from mitmproxy import http
from mitmproxy.http import HTTPFlow


def request(flow: HTTPFlow):
    print(flow.request.url)
    print(flow.request.cookies)
    flow.request.cookies = [['_uuid', 'A98A10A1C-9F33-6339-17E4-CD8671029FB5A86227infoc'],
                            ['buvid3', '6F2EA161-81E8-FC5D-692F-FF62C048B83B86528infoc'], ['b_nut', '1709354487'],
                            ['buvid4',
                             'FDE22D0E-55C2-7A05-BE12-D69A19F71C7586528-024030204-nzup34dDLssl%2BNgRMbI%2BUQ%3D%3D'],
                            ['enable_web_push', 'DISABLE'], ['FEED_LIVE_VERSION', 'V8'],
                            ['header_theme_version', 'CLOSE'], ['CURRENT_FNVAL', '4048'],
                            ['rpdid', "|(~|mm|k)~l0J'u~|mJlRl|m"], ['b_lsid', '6FDF9248_18DFEAFE967'],
                            ['home_feed_column', '5'], ['browser_resolution', '1536-239'], ['bili_ticket',
                                                                                            'eyJhbGciOiJIUzI1NiIsImtpZCI6InMwMyIsInR5cCI6IkpXVCJ9.eyJleHAiOjE3MDk2MzcwNzEsImlhdCI6MTcwOTM3NzgxMSwicGx0IjotMX0.qxpceIj8gLlNQ33eR9d5jxfizfYD_AWX_zpvHAFixY4'],
                            ['bili_ticket_expires', '1709637011'], ['bp_video_offset_250595597', '904259047290568723'],
                            ['fingerprint', 'bc08d5f7f0d84ff74bf64c3b8cead4fc'], ['buvid_fp_plain', 'undefined'],
                            ['buvid_fp', 'bc08d5f7f0d84ff74bf64c3b8cead4fc'], ['SESSDATA',
                                                                               'e3f51de8%2C1724929938%2Cb3219%2A32CjDQyE1hfakSZT7vrNGmyYTP3Es7buyebKSAFmqg5JIZOH4RfRvNZRNydfq3JlRMLlcSVjd4SE0xc2I5T0dtVXFMMzBLbnhXZW5QNTNyeUZLVjNteDVaRUZ4V1FSQ2gwSXBCb09NLVFzc2cyRmpsNkJPOE9jVE9xdGlIS3gwZHlQWTJaX182SkZnIIEC'],
                            ['bili_jct', 'a74e7345a811680a745797300a7ae525'], ['DedeUserID', '250595597'],
                            ['DedeUserID__ckMd5', 'dd8e5953de09a630'], ['sid', 'qmre1dgw']]


    def response(flow: http.HTTPFlow):
        ...

在配置完cookies后在被代理的电脑打开bilibili会显示为登录状态

请添加图片描述

若多台电脑接入代理则可以共享这个账号


http://www.niftyadmin.cn/n/5403115.html

相关文章

记录 | docker权限原因导致service ssh start失败

【报错】 容器内启 ssh server 报错 有两个错: (1)/etc/ssh/sshd_host_rsa_key 权限太高; (2)/run/sshd用户组不为 root 解决方法: 方法一: 各自容器内对/etc/ssh/sshd_host_r…

Leetcoder Day33| 贪心算法part06+总结

738.单调递增的数字 给定一个非负整数 N&#xff0c;找出小于或等于 N 的最大的整数&#xff0c;同时这个整数需要满足其各个位数上的数字是单调递增。 &#xff08;当且仅当每个相邻位数上的数字 x 和 y 满足 x < y 时&#xff0c;我们称这个整数是单调递增的。&#xff09…

Javaweb之SpringBootWeb案例之自动配置的原理分析的详细解析

3.2.3 原理分析 3.2.3.1 源码跟踪 前面我们讲解了在项目当中引入第三方依赖之后&#xff0c;如何加载第三方依赖中定义好的bean对象以及配置类&#xff0c;从而完成自动配置操作。那下面我们通过源码跟踪的形式来剖析下SpringBoot底层到底是如何完成自动配置的。 源码跟踪技巧…

Web组态可视化编辑器 快速绘制组态

随着工业智能制造的发展&#xff0c;工业企业对设备可视化、远程运维的需求日趋强烈&#xff0c;传统的单机版组态软件已经不能满足越来越复杂的控制需求&#xff0c;那么实现Web组态可视化界面成为了主要的技术路径。 行业痛点 对于软件服务商来说&#xff0c;将单机版软件转变…

(C语言)函数详解(下) 项目多文件操作 extern ,static详解

&#xff08;C语言&#xff09;函数详解上&#xff1a;http://t.csdnimg.cn/ceDqA 下面我们进行函数下的学习。 目录 我们 1. 函数的声明和定义 1.1 单个文件 1.2 多个文件 2. static和extern 2. 1 static 修饰局部变量&#xff1a; 2. 2 static修饰全局变量 2. 3 st…

代码随想录算法训练营第46天| 139.单词拆分、背包问题总结

139.单词拆分 完成 思路&#xff1a; 本题可以用背包问题的思路解决&#xff0c;单词是物品&#xff0c;字符串是背包&#xff0c;要求物品能否把背包装满。 dp[j] 字符串长度为j时&#xff0c;能否拆分为一个或多个在字典中出现的单词。 递推公式为&#xff1a;if([i, j] 这个…

腾讯云4核8G服务器申请费用多少?性能如何?支持几个人?

腾讯云4核8G服务器支持多少人在线访问&#xff1f;支持25人同时访问。实际上程序效率不同支持人数在线人数不同&#xff0c;公网带宽也是影响4核8G服务器并发数的一大因素&#xff0c;假设公网带宽太小&#xff0c;流量直接卡在入口&#xff0c;4核8G配置的CPU内存也会造成计算…

c语言数据结构(5)——栈

欢迎来到博主的专栏——C语言数据结构 博主id&#xff1a;代码小豪 文章目录 栈栈的顺序存储结构栈的插入空栈的初始化栈的删除判断空栈读取栈顶元素数据 实现顺序栈的所有代码栈的链式存储结构链式栈的初始化链式栈的入栈操作链式栈的出栈操作 实现链式栈的所有代码 栈 栈是…