爬虫逆向实战(二十一)-- 某某点集登录与获取数据

news/2024/7/19 12:38:20 标签: 爬虫

登录

一、数据接口分析

主页地址:某某点集

1、抓包

通过抓包可以发现登录接口是phonePwdLogin
在这里插入图片描述

2、判断是否有加密参数

  1. 请求参数是否加密?
    通过查看“载荷”模块可以发现有pwdsig两个加密参数
    在这里插入图片描述
  2. 请求头是否加密?
  3. 响应是否加密?
  4. cookie是否加密?

二、加密位置定位

1、pwd

(1)看启动器

查看启动器发现里面包含异步,所以无法正确找到加密位置
在这里插入图片描述

(2)搜索关键字

通过搜索关键字pwd:可以找到一个pwd的加密位置
在这里插入图片描述
在此处打上断点,再次登录,发现可以断住,并且此处是将明文转换为了密文,所以可以确定此处是加密位置
在这里插入图片描述

2、sig

(1)搜索关键字

通过搜索关键字sig:可以找到一个sig的赋值位置
在这里插入图片描述
在此处打上断点,再次登录,发现可以断住,并且sig的生成就在上方,所以可以确定此处是加密位置
在这里插入图片描述

三、扣js代码

1、pwd

通过控制台测试可以发现,pwd参数加密是使用的标准MD5加密,所以可以不扣js,使用标准MD5模块进行加密
在这里插入图片描述

2、sig

通过控制台测试可以发现,sig参数同样是使用的MD5加密,只不过,在加密前对参数进行了处理,所以我们可以将处理方法HS扣出,然后再使用标准MD5加密即可。
在这里插入图片描述

数据

一、数据接口分析

1、抓包

通过抓包可以发现数据接口是api/dy
在这里插入图片描述

2、判断是否有加密参数

  1. 请求参数是否加密?
    通过查看“载荷”模块可以发现有一个sign加密参数,还有一个token是登录成功后服务器返回的,不需要关心
    在这里插入图片描述
  2. 请求头是否加密?
  3. 响应是否加密?
  4. cookie是否加密?

二、加密位置定位

1、看启动器

查看启动器发现里面包含异步,所以无法正确找到加密位置
在这里插入图片描述

2、搜索关键字

通过搜索关键字sign:可以发现sign的生成位置
在这里插入图片描述
在此处打上断点,再次获取数据,发现可以断住,所以确定此处就是加密位置
在这里插入图片描述

三、扣js代码

通过加密位置可以看出,sign是由E方法生成的,调试执行进入E方法可以发现,是对数据进行加盐,然后使用sha256进行加密。其中加盐参数C经过多次生成,发现都是一样的,所以可以写死。
在这里插入图片描述

javascrapt源码

var CryptoJS = require('crypto-js')

function H(n) {
    var e = []
        , t = "";
    for (var a in n)
        e.push(n[a]);
    for (var i = 0; i < e.length; i++)
        t += e[i] + "";
    return t += "JzyqgcoojMiQNuQoTlbR5EBT8TsqzJ",
        t
}

function S(n) {
    for (var e = Object.keys(n).sort(), t = {}, a = 0; a < e.length; a++)
        t[e[a]] = n[e[a]];
    return t
}

function E(n, e) {
    return CryptoJS.SHA256("param=" + JSON.stringify(n) + "&timestamp=" + e + "&tenant=1&salt=" + 'kbn%&)@<?FGkfs8sdf4Vg1*+;`kf5ndl$').toString()
}


function get_login_params(phone, password) {
    var s = {
        "phoneNum": phone,
        pwd: CryptoJS.MD5(password).toString(),
        "t": (new Date).getTime(),
        "tenant": 1
    };
    var sig = CryptoJS.MD5(H(S(s))).toString()
    s['sig'] = sig
    return s
}


function get_data_params(token) {
    var e = (new Date).getTime()
    var n = {
    "no": "dy0002",
    "data": {
        "days": 1,
        "rankType": 5,
        "liveDay": "2023-08-24"
    }
}
    return  {
        param: JSON.stringify(n),
        sign: E(n, e),
        tenant: "1",
        timestamp: e,
        token: token
    }
}

Python源码

"""
Email:912917367@qq.com
Date: 2023/8/25 14:25
"""
import execjs
import requests


class Spider:
    def __init__(self):
        self.session = requests.session()
        self.session.headers = {
            "Accept": "application/json, text/plain, */*",
            "Accept-Language": "zh-CN,zh;q=0.9",
            "Cache-Control": "no-cache",
            "Connection": "keep-alive",
            "Content-Type": "application/json",
            "Origin": "http://www.hh1024.com",
            "Pragma": "no-cache",
            "Sec-Fetch-Dest": "empty",
            "Sec-Fetch-Mode": "cors",
            "Sec-Fetch-Site": "cross-site",
            "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/116.0.0.0 Safari/537.36",
            "sec-ch-ua": "^\\^Chromium^^;v=^\\^116^^, ^\\^Not)A;Brand^^;v=^\\^24^^, ^\\^Google",
            "sec-ch-ua-mobile": "?0",
            "sec-ch-ua-platform": "^\\^Windows^^"
        }
        with open('get_params.js', 'r', encoding='utf-8') as f:
            self.js_obj = execjs.compile(f.read())
        self.token = ''

    def login(self):
        url = "https://user.hrdjyun.com/wechat/phonePwdLogin"

        data = self.js_obj.call('get_login_params', '账号', '密码')
        response = self.session.post(url, json=data)
        self.token = response.json()['data']['token']
        print('token:', self.token)
        print(response.text)

    def get_data(self):
        url = "https://ucp.hrdjyun.com:60359/api/dy"
        data = self.js_obj.call('get_data_params', self.token)
        print(data)
        response = self.session.post(url, json=data)

        print(response.text)
        print(response)


if __name__ == '__main__':
    s = Spider()
    s.login()
    s.get_data()

http://www.niftyadmin.cn/n/4971401.html

相关文章

git pull --rebase 用法

git pull --rebase git pull --rebase 是 Git 命令中的一个选项&#xff0c;它的作用是在从远程仓库拉取更新时使用 rebase 而不是默认的合并方式。使用这个命令会使您的提交历史更加整洁&#xff0c;因为它将您的本地提交在远程更新之前重新应用到新的提交之上。 这个命令的…

C++避坑——most vexing parse问题

1."坑"的问题是什么&#xff1f; 先看一段代码&#xff1a; class Functor { public:void operator()(){std::cout << "我是线程的初始函数" << std::endl;} };int main() {std::thread t(Functor());// 强制高速编译器这是一个构造函数!t.j…

CQ 社区版 2.3.0 发布 | 自动授权、分级授权、审计上卷下钻等

Hello&#xff0c;大家好&#xff0c;又到了一月一度的社区版发版时间。本次发布 CQ 社区版 v2.3.0&#xff0c;功能上主要加强了 CQ 的三大模块能力&#xff1a;授权、审计和数据源操作。 我们一起来看下具体做了哪些提升~ tips&#xff1a;版本升级福利持续发放中&#xff…

【MySQL系列】统计函数(count,sum,avg)详解

&#x1f490; &#x1f338; &#x1f337; &#x1f340; &#x1f339; &#x1f33b; &#x1f33a; &#x1f341; &#x1f343; &#x1f342; &#x1f33f; &#x1f344;&#x1f35d; &#x1f35b; &#x1f364; &#x1f4c3;个人主页 &#xff1a;阿然成长日记 …

日常踩坑记录

本篇文章主要介绍一下最近的开发中用到的些小问题。问题不大&#xff0c;但有些小细节&#xff0c;记录一下&#xff0c;有遇到的朋友可以看一下&#xff0c;有更好的解决方法欢迎分享。 浏览器记住密码自动填充表单 这个问题我在火狐浏览器遇到了。我登录系统时选择了浏览器…

华为OD机试 - 按索引范围翻转文章片段 - 字符串(Java 2022 Q4 100分)

目录 专栏导读一、题目描述二、输入描述三、输出描述四、解题思路五、Java算法源码六、效果展示1、输入2、输出3、说明 华为OD机试 2023B卷题库疯狂收录中&#xff0c;刷题点这里 专栏导读 本专栏收录于《华为OD机试&#xff08;JAVA&#xff09;真题&#xff08;A卷B卷&#…

【Java】【Stream流】分页

在Java开发中&#xff0c;使用Java自带Stream流的API来进行开发是一种常见的做法。 下面是一个简单的例子&#xff1a; 假设我们有一个包含100个数据项的列表。我们需要按照每页10个数据进行分页&#xff0c;并返回指定页码的数据。可以使用Java 8中的流来实现分页&#xff1…

基于海洋捕食者算法优化的BP神经网络(预测应用) - 附代码

基于海洋捕食者算法优化的BP神经网络&#xff08;预测应用&#xff09; - 附代码 文章目录 基于海洋捕食者算法优化的BP神经网络&#xff08;预测应用&#xff09; - 附代码1.数据介绍2.海洋捕食者优化BP神经网络2.1 BP神经网络参数设置2.2 海洋捕食者算法应用 4.测试结果&…