Python爬虫之微打赏爬虫

news/2024/7/19 11:23:11 标签: 爬虫, python

昨天有学员问我爬虫的问题,说xpath语法写出来没数据。其实可能是其他地方错了,而不是xpath语法的问题,我们需要学会找错误的原因。

  • 打印下请求的内容,看有没有你要的数据。
  • 没有的话,是不是请求错误。
  • 请求成功是不是异步加载。
    这样一步步排错。
    今天继续这位学员的问题,他需要爬取微打赏的数据。

网站分析

  • 打开网站,翻页网页不变,看看是post的请求,很好办,直接把参数怼进去,这里只要切换page就能进行翻页。


http://www.niftyadmin.cn/n/975043.html

相关文章

【transform】SETF + VIT 的一些个人笔记

首先声明:代码是参考以下作者大佬的,如有侵权马上删。 本人只是在原有基础上加了点自己的笔记,改了点结构 https://github.com/920232796/SETR-pytorch https://github.com/lucidrains/vit-pytorch transform的本质其实就是把图像切块然后靠…

正则取小数点后面几位

【转自】正则表达式取小数点后面几位 <script type"text/javascript"> onload function(){ var a "23.456322"; var aNew; var re /([0-9]\.[0-9]{2})[0-9]*/; aNew a.replace(re,"$1"); alert(aNew); } </scr…

SpringCloud微服务实战-Zuul-APIGateway(十)

本文转自&#xff1a;http://blog.csdn.net/qq_22841811/article/details/67637786#准备工作 1 API Gateway 2 Zuul介绍 2.1 zuul的功能 Routing in an integral part of a microservice architecture. For example, / may be mapped to your web application, /api/users is m…

自定义中间件

Diango组件中间件:(每次有请求都会走一遍中间件) 中间件顾名思义&#xff0c;是介于request与response处理之间的一道处理过程 如果你想修改请求&#xff0c;例如被传送到view中的HttpRequest对象。 或者你想修改view返回的HttpResponse对象&#xff0c;这些都可以通过中间件来…

面试题35:复杂链表的复制

面试题35&#xff1a;复杂链表的复制 实现 copyRandomList 函数&#xff0c;复制一个复杂链表。在复杂链表中&#xff0c;每个节点除了有一个 next 指针指向下一个节点&#xff0c;还有一个 random 指针指向链表中的任意节点或者 null。 class Solution { public:Node* copyR…

【SSH】ssh的远程协议的安装方法

安装SSH之前&#xff0c;可能需要 先装SSH的客户端&#xff1a; sudo apt-get install openssh-client1 :7.6p1-4&#xff08;版本号&#xff09; 安装服务端 sudo apt-get install openssh-server 登录本机 ssh localhost 输入YES 输入电脑密码 设置无密码登录 进入S…

互联网产品的需求文档写作,应该注意哪些事项和规范?

&#xff08;1&#xff09; 商业需求文档&#xff08;BRD&#xff09; 简介 1、 向公司中申请需要的费用&#xff0c;资源得到各级领导支持 2、 通常讲述市场机遇、盈利方式等&#xff0c;简介、明了、易懂 3、 包括&#xff1a;商业价值、成本估算、收益预期 4、 工具&#xf…

面试题36:二叉搜索树与双向链表

面试题36&#xff1a;二叉搜索树与双向链表 输入一棵二叉搜索树&#xff0c;将该二叉搜索树转换成一个排序的循环双向链表。要求不能创建任何新的节点&#xff0c;只能调整树中节点指针的指向。 class Solution { public:Node* treeToDoublyList(Node* root) {if(root nullp…