关于前嗅Forespider爬虫的常见问题答疑

news/2024/7/19 9:15:30 标签: 大数据, 前嗅, 爬虫, 数据采集


关于前嗅Forespider爬虫的常见问题答疑

奋战在一线为客户答疑的狗蛋儿给小编提供了很多客户经常会问到的问题的素材,小编帮大家整理了一些,快来看看是不是都用的上吧!

    一、采集预览没有链接或数据?

 

1)查看文档详情:

①需要写脚本:检查文档详情。文档中HTML标签中没有所需的数据信息,是JavaScript脚本生成的。

②被封ip:文档详情404或者***错误等

③需要开启cookie的情况下才能采集数据

    2)浏览器版本:点击设置-网络策略设置可以设置模拟浏览器版本

3)检查配置:

①网址输入的不对

②网址前没加https协议头

③示例地址1和频道入口地址不一致

④没有链接抽取或数据抽取

⑤数据抽取未选择表单

⑥地址过滤的不对把链接都过滤掉了

⑦没有关联模板等

二、连接数据库失败

1)ForeLib:数据路径错误

2)MySQL:

①数据库名称错误

②本地服务主机:127.0.0.1或者localhost输入错误

③远程:远程的IP填写错误

④端口:默认3306

⑤用户名密码输入错误

三、采集如果被封怎么办

使用代理ip,点击资源管理,可以添加IP代理,支持动态和静态IP代理。点击网络策略配置-IP代理配置,可以启动使用IP代理。

四、字段设置有变动后的操作

1)更改表单名称/字段名称/增减字段:

①在对应模板的数据抽取处重新选定该表单

②删除原有的数据表并新建。

③更改表单字段内字段属性、长度、变量类型等应删除原有的数据列表并新建,同时在对应模板的数据抽取处重新选定该表单

④更改字段取值类型时应删除原有的数据列表并新建,同时在对应模板的数据抽取处重新选定该表单或者选中相应字段后在下方重新选定取值类型

五、会不会采集重复的数据

不会,本软件有两种自动排重功能

①已采集过数据的会有相应的采集日志,自动排重

②采集到的数据存入数据库时自动排重

    六、采集预览有数据,数据采集没有数据

 

①还没跑到数据页,可以右键复制到浏览器查看网页是否有问题

②字段有问题,重新检查配置,字段名、属性、长度、变量类型、取值类型等

③采集状态不正常(IP被封,忘记建表单等问题)

七、如何定时更新最新的数据

             

设置-采集策略配置-增量采集;任务设置-定时能定时采集。


http://www.niftyadmin.cn/n/1191770.html

相关文章

C# Socket流数据大小端读写封装

网络数据是大端模式,而c#中的数据小端结构,那么在读写网络数据的时候需要进行转换。c#类库IPAddress已经封装了大小端的转换。 封装代码如下: [csharp] view plaincopy using System.IO; using System.Net; using System; namespace Fr…

C++ 析构方法

1、什么是析构方法? 析构方法与构造方法互补。 2、为什么设计析构方法? 构造方法创建一个对象,对象内部往往还会申请一些资源。设计析构方法的目的是 释放资源,同时销毁自身。 3、析构方法可以认为分为两个:显式析构方…

DB2数据库中创建定义函数

DB2数据库中创建定义函数 2010-08-31 16:13 佚名 互联网 字号:T | T我们可以创建用户定义函数来扩展内置的 DB2 函数。例如,创建计算复杂的算术表达式或操作字符串的函数,然后在 SQL 语句中像对待任何现有的内置函数一样引用这些函数。 AD&am…

前嗅可以采集公众号所有的历史消息啦!

前嗅可以采集公众号所有的历史消息啦! 相信之前采集过公众号历史文章的人都知道,用搜狗微信搜索公众号进行数据采集很方便,但是这个方法也有一个比较大的缺点,那就是只能显示最近10条群发文章。所以&…

『原创』用C++开发WM应用系列(2)——拨打电话

用C开发WM应用系列文章索引 引言: 在上一节中,我们通过了一个MFC智能设备程序项目,带大家一起走进了Native c开发WM的大门,我们了解了如何为程序添加控件、事件,以及自定义自己的类、方法。以及如何让程序来处理这些事…

phpstorm 格式化代码方法

hpstorm 代码格式化方法: 快捷键:Ctrl Alt L 设置代码样式:File -> Settings -> Code Style ->PHP 根据个人php代码规范和个人喜好设置 PHP 等代码的样式结构。 phpstorm可以设置: 1、等号对齐 2、中括号显示方式... 3…

ForeSpider数据采集软件之链接抽取

自从来到前嗅,小编从一个爬虫小白到现在能够熟练的采集各种网站各种数据,真的是有很大的成长。当然,成长过程中肯定少不了踩坑(很多网站都有防爬措施),为了让各位用户能够更熟练的…

Visual Studio 2015 Tools for Unity安装

https://blogs.msdn.microsoft.com/visualstudio/tag/visual-studio-tools-for-unity/ 下载对应的VS版本 里边可以找到下载地址,或者在VS编辑器中能找到 打开VS->工具->扩展和更新->搜索Unity就能找到 转载于:https://www.cnblogs.com/dj1232090/p/5443709…