自动循环采集全站文章

news/2024/7/19 10:39:17 标签: 经验分享, 爬虫, 大数据, python, 内容运营

如果文章页面中,有上一篇、下一篇文章,推荐文章等链接,我们可以利用这个特点,仅配置采集一个文章页面,即可采集整个网站或某个分类下的所有文章,实现自动循环采集全站数据,非常方便简单。

使用方法如下:

1. 配置常规的采集规则

先使用简数采集器的智能向导模式,自动智能生成采集规则,无需懂技术,可视化操作。

相应教程可看:自动生成采集规则的网页采集器-CSDN博客

简数采集器的智能自动生成采集规则

2. 启用循环采集

打开简数采集器对应任务的详情页提取器配置页面,点击上方的【无限极启用配置】按钮,在【启用无限极采集】选项处勾上,表示启用该功能,然后保存。

可以控制每一个详情页获取的链接最大数量,和每次采集启动无限极采集功能获取的详情链接总数量。

启用简数采集器的循环采集

3. 选择循环采集的区域

启用后,点击【无限极点选开关】,然后在可视化区域,移动鼠标点选可以循环采集的详情页链接区域,一般是 “下一篇文章” ,“相关文章推荐” 等区域(包含文章链接的区域即可,不要求精确到a链接标签),保存,接着回到简数采集器任务界面,启动采集即可。

循环采集的可视化点选操作

这样设置后就可以实现自动循环采集全站文章,无需去寻找对应的列表页网址,方便简单。


http://www.niftyadmin.cn/n/5300969.html

相关文章

Java使用camerax的例子

在github,自己看吧 https://github.com/7eau/CameraXDemo_Java camerax版本 def camerax_version "1.1.0-beta01" implementation "androidx.camera:camera-core:${camerax_version}" implementation "androidx.camera:camera-camera2:…

OceanBase入选Gartner®云数据库管理系统魔力象限“荣誉提及”

近日,全球IT市场研究和咨询公司Gartner发布最新报告《Magic Quadrant™ for Cloud Database Management Systems》(全球云数据库管理系统魔力象限)。全自研分布式数据库 OceanBase 入选“荣誉提及”,2022 年推出的云数据库 OB Clo…

MySQL数据库高级SQL语句及存储过程

目录 一、高级SQL语句 (一)case语句 1.语法定义 2.示例 (二)空值(NULL) 和 无值( ) 1.区别 2.示例 (1)字符长度 (2)判断方法 ① 空值(NULL) ② 无值( ) (3…

【快慢指针】26.删除有序数组中的重复项

题目 法1&#xff1a;快慢指针 基础解法&#xff0c;必须掌握&#xff01;&#xff01;&#xff01; class Solution {public int removeDuplicates(int[] nums) {if (nums.length < 2) {return nums.length;}int slow 0, fast 1;while (fast < nums.length) {if (n…

c++语句详细介绍

文章目录 前言简单语句语句作用域1. 局部作用域2. 全局作用域3. 命名空间作用域4. 块作用域 条件语句1. If语句2. Else语句3. Else If语句4. Switch语句5. 嵌套条件语句6. 条件运算符 循环语句1. While循环2. Do-While循环3. For循环4. 范围Based For循环&#xff08;C11及以上…

凯越推出复古150踏板欧洲先上?DAE150/150亮相

今天临下班发现凯越在欧洲的官网上更新了一台复古踏板&#xff0c;外观别说还有点精致的意思&#xff0c;一共分为125和150两个配置&#xff0c;都是采用的水冷单缸发动机。 配置和参数等数据简单过一下&#xff0c;这种车型更多的是看外观了&#xff0c;仪表采用的LCD的显示屏…

YOLOv8优化策略:Backbone改进 | 支持restnet50和restnet101

🚀🚀🚀本文改进: 将restnet50和restnet101作为backbone引入到YOLOv8,下表为参数量和计算量的对比 layersparametersgradientsGFLOPsyolov8m2952585689925856883

winform简易用户权限管理系统

一、功能简介 1. 数据库可使用sqlite、mssql、mysql等 2. 管理员账号不管控&#xff0c;其余账号进行权限管控&#xff08;左侧菜单&#xff0c;表单按钮&#xff09;&#xff0c;且只能看到自己创建的角色、用户 二、操作界面 1. 管理员账号登陆后&#xff0c;左侧菜单栏自动…