Python爬虫入门教程 47-100 mitmproxy安装与安卓模拟器的配合使用-手机APP爬虫部分...

news/2024/7/19 12:32:27 标签: 爬虫, 操作系统, python

1. 准备下载软件

介绍一款爬虫辅助工具mitmproxy ,mitmproxy 就是用于MITM的proxy,MITM中间人攻击。说白了就是服务器和客户机中间通讯多增加了一层。跟Fiddler和Charles最大的不同就是,mitmproxy可以进行二次开发,尤其可以对接python

mitmproxy一般用于开发或者测试,用在爬虫辅助也是极好的。

1.1 几个重要地址

github地址:https://github.com/mitmproxy/mitmproxy 官网地址:https://mitmproxy.org/

1.2 安装流程

进入CMD窗口,执行

pip install mitmproxy 
复制代码

安装完成后,系统将拥有 mitmproxymitmdumpmitmweb 三个命令,由于 mitmproxy 命令不支持在 windows 系统中运行。

mitmproxy是一个支持HTTP和HTTPS的抓包程序,有类似Fiddler、Charles的功能。除了命令行形式的控制台,mitmproxy还有两个关联组件:mitmdump和mitmweb。
	
mitmdump:它是mitmproxy的命令行接口,利用它我们可以对接Python脚本,用Python实现监听后的处理。
	
mitmweb:它是一个Web程序,通过它我们可以清楚观察mitmproxy捕获的请求。
复制代码

我们可以拿 mitmdump 测试一下安装是否成功,执行:

mitmdump --version
复制代码

执行结果

1.3 启动mitmweb

控制台运行

mitmweb

输出

λ mitmweb
Web server listening at http://127.0.0.1:8081/
Proxy server listening at http://*:8080
复制代码

同时打开你的默认浏览器

1.4 配置代理

操作简单,熟悉爬虫的人设置起来难度不大

将代理服务器设置为 127.0.0.1:8080即可

这是完毕,在随便访问一个网站,例如百度,一股似曾相识的感觉铺面而来,这就是网页版的Fiddler

1.5 命令行启动

接下来关闭所有 Chrome 窗口,否则命令行启动时的附加参数将失效。打开 cmd,执行:

"C:\Program Files (x86)\Google\Chrome\Application\chrome.exe" --proxy-server=127.0.0.1:8080 --ignore-certificate-errors
复制代码

前面那一长串是 Chrome 的的安装路径,应当根据系统实际情况修改,后面两参数设置了代理地址并强制忽略掉证书错误。

1.6 CA证书的安装

当我们初次运行mitmproxy或mitmdump时,

会在当前目录下生成 ~/.mitmproxy文件夹,其中该文件下包含4个文件,这就是我们要的证书了。

.mitmproxy文件夹自行搜索,我采用的是everything软件,一般在电脑上的用户目录

mitmproxy-ca.pem 私钥
mitmproxy-ca-cert.pem 非windows平台使用
mitmproxy-ca-cert.p12 windows上使用
mitmproxy-ca-cert.cer 与mitmproxy-ca-cert.pem相同,android上使用
复制代码

windows上安装证书很简单,双击.p12结尾的证书文件即可。 安卓手机需要将对应的文件发送到手机文件,进行安装。

将mitmproxy-ca-cert.cer 放到sdcard根目录下
选择设置-安全和隐私-从存储设备安装证书
复制代码

2. 使用mitmdump

在windows平台下一般使用mitmdump 控制台运行 mitmdump,出现如下结果

λ mitmdump
Proxy server listening at http://*:8080
复制代码

2.1 获取本地IP地址 ipconfig

打开模拟器,跟fiddler和Charles的配置其实是非常类似的

基本步骤

1.电脑和手机连接到同一个wifi环境下 2.修改浏览器代理服务器地址为运行mitmdump的那台机器(本机)ip地址,端口设定为你启动mitmdump时设定的端口,如果没有指定就使用8080 3.手机做同样操作,修改wifi链接代理为 【手动】,然后指定ip地址和端口

在手机或pc机上打开浏览器访问 mitm.it 这个地址,选择你当前平台的图标,点击安装证书。

所有这一切操作完毕,打开模拟器的默认浏览器,输入www.baidu.com,等待数据的抓取

3. mitmproxy安装与模拟器配合操作完毕

当你看到数据抓取到的那一刻,表示本篇博客结束啦,下一篇,我们就实际的对接一下Python,感谢你的阅读。


http://www.niftyadmin.cn/n/1620218.html

相关文章

给View设置点击效果动画

代码 public class AnimationUtil {public enum AnimationType {PRESS, ROTATION}//存放View 是否在执行动画中private static HashMap<String, Boolean> animationMap new HashMap<>();//按下动画public static void doAnimation(View view, AnimationType type)…

Успокоиться увеличиваться боец господь.Eligendi aliquam doloribus eum reiciendis doloribus.

这里写自定义目录标题Illo adipisci sed enim quia.Quia impedit debitis quidem blanditiis id.

很强大的上网行为管理终端软件-云子可信-一键禁止访问视频网站

小编接到需求&#xff0c;要求管理几台电脑&#xff0c;禁止访问视频网站&#xff0c; 小编先从自带的防火墙及上网行为管理设备入手&#xff0c;用的华为的设备&#xff0c;无奈上网行为管理设备太旧&#xff0c;不支持https&#xff0c;又试了试防火墙&#xff0c;支持https过…

Crier soir enfin avouer résistance.Facilis nam incidunt pariatur.

这里写自定义目录标题Voluptates fugiat laudantium non ea doloremque asperiores.Mutter Tante Auto.

kvm 常用的一些操作

1&#xff0c;创建虚拟机[rootlocalhost ~]# virt-install --namecentos1 \ #生成一个虚拟机--ram 1024 --vcpus1 \--disk path/root/centos1.img,size10 \--accelerate --cdrom /root/CentOS-6.5-x86_64-bin-DVD1.iso \--graphics vnc,port5921 --network bridgebr02&#xff…

Similique cum vero non harum voluptatum quasi.Voluptatum quo veniam assumenda vel quisquam fugit.

这里写自定义目录标题Aut facilis sequi vitae.Odio dolorem possimus.

oracle维护数据的完整性

转自&#xff1a;https://www.cnblogs.com/roger112/p/7722376.html 介绍&#xff1a; 数据的完整性用于确保数据库数据遵从一定的商业的逻辑规则。在oracle中&#xff0c;数据完整性可以使用约束、触发器、应用程序(过程、函数)三种方法来实现&#xff0c;在这三种方法中&…

Blanditiis excepturi minus.

这里写自定义目录标题Legen sagen sie nein schreiben.Хозяйка цепочка смелый обида. Аж выраженный правление носок граница дошлый дрогнуть. Выразить сустав ленинград…