ForeSpider数据采集系统如何采集源码中看不到的数据

news/2024/7/19 8:38:08 标签: 爬虫, 数据抓取, 图片抓取, 数据采集, 数据

以前介绍过如何从网页源码中抓取自己想要的数据,可是还有很多数据是源码中看不到的。那今天来给大家讲一下如何抓取源码中看不到的数据

 

如上图中,我想取到红框中“保证金”的金额,但是通过查看网页源码发现保证金的金额在源码中是看不到的。下面教大家使用ForeSpider数据采集>数据采集软件的时候是怎样抓取这样的数据的。

 

先在网页中打开网址,右键页面上任意地方,点击“审查元素”,打开开发者工具,如下图中,点击“启用网络流量捕获”,再刷新一下页面。

 

在搜索框中输入我们想要找的数据,我这次要取的保证金金额是“25000”,输入以后点击搜索按钮,发现相应正文中有需要的数据数据已经找到,接下来就可以使用ForeSpider数据采集>数据采集软件写脚本爬取数据了。

 

下面是数据采集>数据采集的脚本,这次写在了字段中,“字段处理”选择“脚本处理”,每一行的意义都在注释中写明。

 

脚本中refer和cookie信息是在浏览器的请求标头里,变量ur赋值是在摘要的url地址。

 

 

 

本次脚本使用的方法Opendoc,在ForeSpider数据采集>数据采集系统的帮助文档中有详细的说明。

本次采集示例网址:http://shop.zbj.com/7014922/evaluation.html

 

 


http://www.niftyadmin.cn/n/1191790.html

相关文章

int和Ingeter在数据库中的区别

int如果没有值数据库会报错Integer在数据库中可以处理成null这是唯一的区别吧,其他时候可以自动封箱的所以Hibernate的建议是使用Integer而不是int我们写的时候其实如果不出现空值的时候写Integer和int没有实质性的区别

条件编译ifndef、ifdef、endif

1、条件编译命令最常见的形式为: #ifdef 标识符 程序段1 #else 程序段2 #endif 当标识符已经被定义过(一般是用#define命令定义),则对程序段1进行编译,否则编译程序段2。 其中#else部分也可以没有,即: 1 #if…

ForeSpider数据采集系统脚本的几个小方法

ForeSpider数据采集系统脚本的几个小方法 今天给大家介绍一下我平时使用前嗅forespider数据采集系统配置模板的时候用到的几种方法,以前写过一个链接抽取的教程,今天就不给大家介绍了,没看过的用户可以关注一下我以前的文章,有很…

干研发更喜欢无服务器,搞DevOps偏爱容器?

根据DevOps Pulse调查,2018年无服务器采用率从30.55%上升到42.58%。在采用者中,28.54%从事研发工作,44.26%从事DevOps、DevSecOps、SysAdmin或SRE工作。无服务器计算是当前的热门话题&#xff0…

MapReduce(一种编程语言)

MapReduce MapReduce是一种编程模型,用于大规模数据集(大于1TB)的并行运算。概念"Map(映射)"和"Reduce(化简)",和他们的主要思想,都是从函数式编程语…

原来快速提升孩子数学成绩的方法是这个

也许你有孩子正在上初中或者高中,也许你经常不惜重金请名师为你的孩子做课外辅导,也许你根本就请不到或者请不起名师为你的孩子做辅导,可是无论怎么样你的孩子的数学成绩始终不尽人意,(如果是这样请你耐心看下去&#…

ForeSpider数据采集系统关键词配置方法

很多人问forespider的关键词怎么配置,今天给大家出一个关键词配置的教程。 一般情况下是这样的:在采集地址处填上准备采集的网站地址,采集源类型选择“关键词搜索”。 然后进入“关键词搜索配置”页面,点击“获取参数”&#xff…

Access转换为 MS SQL 有什么要注意的地方

常在一些bbs上面看见有人在问Access转换为 MS SQL 有什么要注意的地方,或是编写存储过程,现在小弟在此写一些要注意的或者常用的语法给大家参考(部分为asp常用的函数) ----&#xff…