爬虫实践(1)

news/2024/7/19 10:41:04 标签: 爬虫

这一篇只提登录模拟,主要介绍chrome开发者窗口的使用,实际上相关接口调用都是用到cookie,需要再加一篇从token到cookie,以保证实践的完整性

以migu登录为例,分析其登录过程,之后可以使用任意语言模拟登录,获取登录token

查看分析登录涉及到的URL

URL:https://passport.migu.cn/login
step1: POST https://passport.migu.cn/password/publickey
step2: POST https://passport.migu.cn/authn
在这里插入图片描述
step2 返回结果就是登录后的token
在这里插入图片描述

分析请求报文

step1:POST https://passport.migu.cn/password/publickey
无参数,尝试直接请求,可以获取到请求在这里插入图片描述
step2:POST https://passport.migu.cn/authn
发现请求参数很多,大部分是加密的
在这里插入图片描述
试着使用POSTMAN做请求,暂时发现使用以下三个参数就可以通了
在这里插入图片描述

分析参数计算逻辑

这是主要部分,大致流程:找到对应form --> 打断点 --> 分析代码

sourceID,Element搜索,尝试点两下登录,发现这个值应该是进页面初始化的

在这里插入图片描述
可以直接通过请求URL 获取
在这里插入图片描述

loginID
  1. Element搜索,可以点两下登录试试,可以看到这个值会变化,说明是动态计算的
    在这里插入图片描述
  2. 打断点
    在这里插入图片描述
  3. 点击登录按钮,触发click事件,会停在赋值的代码块,可见此时 loginID已经算出来了,并在第二个标记的地方赋值
    在这里插入图片描述
    shift + F11 往上推查找这个e在什么地方算的
    分析下面代码,发现是通过请求a.attr(“cmcc-rsaAjax”),获取到modulus, publicExponent,再通过RSA做加密,算出 loginID
    这个URL其实就是https://passport.migu.cn/password/publickey这个API的结果
    在这里插入图片描述
    有个技巧, 在打断点期间,实际上整个工作区间都到断掉位置了,可以在console 窗口直接在执行代码,比如:
    在这里插入图片描述
    RSA加密算法是自定义的,需要爬取js代码,之后再做补全 …
    主要是下面三行代码
c = new s.RSAKey;
c.setPublic(a.result.modulus, a.result.publicExponent);
var d = c.encrypt(b.val());
enpassword,步骤相似,实际上就是下面中间的代码

在这里插入图片描述


http://www.niftyadmin.cn/n/5453316.html

相关文章

vim中如何使用Vundle插件管理器?

本文结构: a、简介 b、安装 c、用法举例 a、Vundle是一个Vim插件管理器,它极大地简化了Vim插件的安装、更新和卸载过程。Vundle通过简化Vim插件的管理过程,帮助用户更高效地定制他们的Vim编辑环境。 b、安装Vundle Vundle的安装通常是通…

Facebook多个广告账户被封禁的原因及解决方法

在昨天的文章中,我们为大家介绍了Facebook是什么,今天我们接着聊一聊如何解决在Facebook投放多个广告时,广告账户被封禁的问题。想必这个问题困扰着包括社交媒体营销人员、内容创作者、跨境电商从业者在内的许多人。不过别担心,有…

【SpringBoot】java.lang.Exception: No tests found matching Method

目录 问题解决 问题 在运行SpringBootMaven工程时,创建了一个新的Test单元测试,在运行时遇到的问题如下: java.lang.Exception: No tests found matching Method test_chatGPT(cn.bugstack.chatbot.api.test.ApiTest) from org.junit.inter…

掌握Mac常用命令,提升工作效率

在Mac操作系统中,命令行是一个强大的工具,可以帮助用户更高效地管理文件、执行任务和解决问题。本文将介绍一些Mac常用命令,帮助您更好地利用命令行提升工作效率。 1. 文件和目录操作 ls: 列出当前目录下的文件和文件夹。 lscd: 切换目录。 …

linux 网卡配置 vlan/bond/bridge/macvlan/ipvlan 模式

linux 网卡模式 linux网卡支持非vlan模式、vlan模式、bond模式、bridge模式,macvlan模式、ipvlan模式等,下面介绍交换机端及服务器端配置示例。 前置要求: 准备一台物理交换机,以 H3C S5130 三层交换机为例准备一台物理服务器&…

边缘计算迎来“量子飞跃”!支持抗量子密码,AMD推出FPGA新系列

3月6日,AMD宣布推出AMD Spartan™ UltraScale™ FPGA系列,这是AMD成本优化FPGA和自适应SoC广泛产品组合的最新成员。 距离1月22日,AMD推出业界首款符合VESA DisplayPort 2.1标准的FPGA和自适应SoC实现,也才过了一个多月的时间。 S…

一、Vite React+ts基础写法

文章目录 安装useStateprops 传参数据传参,标签嵌套传参函数传参useRef useEffect 获取dom 副作用hooks 安装 npm create vitelatest 执行后选择react ts useState 使用ts写法 type声明数据格式 import { useState } from react import ./App.css type User {a: …

python和Vue开发的RBAC用户角色权限管理系统

后端框架:python的FastAPI作为后端服务和python-jose作为JWT认证 前端框架:Vue3构建页面和Vue Router作为路由管理,Pinia作为数据存储,Vite作为打包工具 可以实现菜单控制和路由控制,页面里面有按钮权限控制&#xf…