爬虫案例2:playwright 超爽体验

news/2024/7/19 12:25:33 标签: 爬虫
参考链接:https://playwright.bootcss.com/python/docs/intro
目标网站:https://spa6.scrape.center/

在这里插入图片描述

在这里插入图片描述

通过观察,页面的信息是通过Ajax请求后返回的信息
下面使用playwright实现绕过token的获取直接拿到返回的数据
import asyncio
import json
from playwright.async_api import async_playwright, Playwright, Response


async  def on_respone(response:Response):
    if '/api/movie/' in response.url:
        data = await response.text()
        print(json.loads(data))

async def run(aspw:Playwright):
    browser = await aspw.chromium.launch(headless=False)
    ctx = await browser.new_context()
    page = await ctx.new_page()
    page.on('response', lambda response: asyncio.ensure_future(on_respone(response)) ) # 异步事件监听
    await page.goto('https://spa6.scrape.center/')
    await page.wait_for_load_state('networkidle') 
    await browser.close()

async def main():
    async with async_playwright() as aspw:
        await run(aspw)

asyncio.run(main())

在这里插入图片描述


http://www.niftyadmin.cn/n/5426842.html

相关文章

RedisCluster集群中的插槽为什么是16384个?

RedisCluster集群中的插槽为什么是16384个? CRC16的算法原理。 1.根据CRC16的标准选择初值CRCIn的值2.将数据的第一个字节与CRCIn高8位异或3.判断最高位,若该位为0左移一位,若为1左移一位再与多项式Hex码异或4.重复3至9位全部移位计算结束5…

idea Springboot 组卷管理系统LayUI框架开发mysql数据库web结构java编程计算机网页

一、源码特点 springboot 组卷管理系统是一套完善的完整信息系统,结合mvc框架和LayUI框架完成本系统springboot spring mybatis ,对理解JSP java编程开发语言有帮助系统采用springboot框架(MVC模式开发),系统具有完整…

WPF-后台设置控件Background

有时候需要在后台设置控件的背景 方法1: Btn_SendNeedle_Admin.Content "送针结束"; Btn_SendNeedle_Admin.Background new SolidColorBrush((Media.Color)Media.ColorConverter.ConvertFromString("#AAFFFFFF")); 方法2: Btn…

SpringCloud-深度理解ElasticSearch

一、Elasticsearch概述 1、Elasticsearch介绍 Elasticsearch(简称ES)是一个开源的分布式搜索和分析引擎,构建在Apache Lucene基础上。它提供了一个强大而灵活的工具,用于全文搜索、结构化搜索、分析以及数据可视化。ES最初设计用…

汽车IVI中控开发入门及进阶(十三):语音识别

前言: IVI中控上的语音识别,在目前市场上也是非常显眼的一个创新,大幅改变了传统IVI的操作习惯。 语音识别Speech recognition,也称为自动语音识别(ASR)、计算机语音识别或语音到文本,是一种使程序能够将人类语音处理成书面格式的能力。 语音识别Speech recognition是计…

mac激活pycharm,python环境安装和包安装问题

1.PyCharm到官网下载就行 地址:Other Versions - PyCharm (jetbrains.com) 2.MacOS 下载python环境,地址: Python Releases for macOS | Python.org 3.PyCharm环境配置: 4. 如果包下载不下来可以换个源试试 pip install py…

STM32 晶振(用示波器测RCC频率是否一致)

如果测出的频率不准确,可以修改一下看看是否有改善:

职业规划随笔

向产品一样推销自己 1.人职匹配 2.大厂与小厂 3.标签 4.工作上:会议、会议纪要(结论:共识代办;未完成;会议背景) 没有学历该如何 准备作品集 在github这样的代码托管网站上创建或参与一个开源项目 推荐开发人员创建一个移动应用(Android 或 iOS),让雇主了解你具有开发并部署…