前嗅

前嗅ForeSpider教程：采集预览

今天，小编为大家带来的教程是:如何在前嗅ForeSpider中，进行采集预览。主要内容包括：采集预览的使用方法，预览链接/数据抽取，和预览错误情况排查；具体内容如下： 一，采集预览的使用方法…

前嗅ForeSpider教程：数据建表

今天，小编为大家带来的教程是：如何在前嗅ForeSpider中，进行数据建表操作及各注意事项。主要内容包括：快速建表，自由建表，字段参数，数据表的创建，关联与删除，以及表单变更…

前嗅ForeSpider教程：运行设置（三）

今天，小编为大家详细介绍一下：前嗅ForeSpider运行设置中的任务定时，预警设置，过滤设置，这三大模块。具体内容如下： 一，任务定时【任务定时】用户可以通过任务定时，进行自动启动/停…

“大数据应用场景”之隔壁老王（连载三）

老王上次在小编帮助下作的一场大戏没成功就被员工以 pa gong 相要挟扼杀在摇篮里了，为了小王的茁壮成长，老王要老老实实的预测明年的销量了。老王的内心戏：现在某龙辣条都走向国际了，深受各国人民的喜爱，我的辣条厂怎…

前嗅ForeSpider脚本教程：模板脚本

链接脚本是频道的模板中的脚本。配置了模板脚本，模板的处理流程将被改变： 1.如果脚本未正确返回dom区域节点，则该模板的采集则完全由该脚本控制。 2.如果脚本返回了一个正确的dom区域节点，则该模板的所有流程（链接抽…

前嗅ForeSpider脚本教程：扩展对象（二）

今天，小编主要为大家介绍一下：前嗅ForeSpider脚本中的扩展对象：链接抽取类tmplLink，链接过滤类tmplFilter，数据抽取类tmplData，模板字段类tmplVal。具体内容如下： 一.链接抽取类tmplLink tmplL…

前嗅ForeSpider脚本教程：基础对象（三）

今天，小编主要为大家介绍一下：前嗅ForeSpider脚本中的基础对象，主要内容包括：记录类record，记录集类records，数据表类dataTable，dataInRet类。具体内容如下： 一.记录类record record…

“大数据应用场景”之隔壁老王（连载一）

小编告诉大家：为了让大家饶有趣味的了解大数据的应用场景，前嗅要出幺蛾子了！！！——欢迎大家来到《“大数据应用场景”之隔壁老王》。接下来很长一段时间，隔壁老王都会勇敢地站出来，用自己的亲身…

前嗅ForeSpider中数据采集界面介绍

今天，小编为介绍一下，前嗅ForeSpider中数据采集界面里：运行设置，IP代理设置，验证码设置，这三大设置的界面，具体内容如下： 一，运行设置数据采集前的运行设置，…

前嗅ForeSpider教程：字段的取值与清洗

今天小编为大家带来的教程是：如何在前嗅ForeSpider中进行，字段的取值与清洗。主要内容包括：自动取值字段，取值的两个方法，和字段清洗方式。具体内容如下： 一，自动取值的字段包括哪些当字段设置…

前嗅ForeSpider脚本教程：运算符与运算顺序

今天小编为大家介绍的是：前嗅ForeSpider脚本中的运算符和运算顺序，具体内容有：脚本支持的运算符、运算顺序、运算级别以及默认类型转换顺序。一.ForeSpider脚本支持的运算符 1.一般运算符： 2.比较运算符： 3.赋值运算&…

前嗅ForeSpider脚本教程：标准对象（二）

今天，小编主要为大家介绍一下：前嗅ForeSpider脚本中的标准对象：采集文档类grabDoc，采集记录集类result，JavaScript操作类jScript、KeyForm操作类KeyForm，html标签属性类domAttr以及keySearch操作类keySearc…

前嗅ForeSpider教程：数据浏览与可视化

今天，小编为大家带来的教程是数据浏览与可视化。主要内容包括：查看数据，按条件检索数据，外部数据导入和数据导出等内容。具体内容如下： 一，查看数据表中的数据在“数据采集”页面开始采集后，可…

前嗅ForeSpider脚本教程：基本语句

今天，小编主要为大家介绍一下：前嗅ForeSpider脚本中的基本语句。内容包括：顺序语句，条件语句，循环语句，开关语句和返回语句。 1.顺序语句 ForeSpider脚本语法规则类似JavaScript、C等标准语言，每…

ForeSpider数据采集软件之链接抽取

自从来到前嗅，小编从一个爬虫小白到现在能够熟练的采集各种网站各种数据，真的是有很大的成长。当然，成长过程中肯定少不了踩坑（很多网站都有防爬措施），为了让各位用户能够更熟练的…

【技术干货】老程序员亲绘漫画：1分钟读懂Session会话机制

昨日说起前嗅是996中的一股清流，可是前嗅没火，大师和圆仔却一夜之间就火了？很多人纷纷留言，要看这俩人互怼、讲故事其实，程虚圆和宫成师的原型真的来源于前嗅，漫画的前身为公司的老程序员和小实习生。老…

你们对“爬虫”这个词好像有什么误会

大数据时代你不可不知的一个词语。。。潜入各个爬虫群内部的小编，今天给大家带来什么样的搞笑的事情了呢，客官您往下看。。。。。。爬虫是啥呢？小编为了“普及”知识特地去百度了一下爬虫，度娘是这么说的：网络爬虫&a…

官宣：ForeSpider5.0闪亮登场，低配版即将下架

本周我们期待已久的ForeSpider5.0版本就要闪亮登场了，在前嗅大数据众位大牛们昼夜不分的研讨，开发和测试后，ForeSpider5.0版本终于要和大家见面了，而随着ForeSpider的更新，我们官网上出售的所有低配版本将全部下架&…

前嗅ForeSpider脚本教程：变量申明及引用

今天，小编为大家介绍前嗅ForeSpider脚本中的语法规则——变量申明及引用。在此之前先为大家介绍一下，语法规则中的注释和标准常量，具体内容如下： 一 .注释 ForeSpider脚本的注释类似于C及JavaScript。通常有两种方式：…

前嗅ForeSpider脚本教程：字段处理脚本

字段处理脚本用于清洗字段的取值。点击某个字段后，在字段处理的下拉菜单中选择脚本处理后，需要配置的脚本。这一步是通过脚本进一步清洗获取的数据。一.可用全局对象（只读） EXTRACT: 当前采集引擎[ 对象类型: extractor ] DATAD…

前嗅ForeSpider脚本教程：基础对象（一）

今天，小编为大家介绍一下：前嗅ForeSpider脚本中的基础对象。主要内容有：基础对象var、字符串string、数字类number、时间类time。具体内容如下： 一.基础对象var var 类为基本类，任何一个变量或常量都是var类&#xff0…

前嗅ForeSpider脚本教程：频道脚本使用场景及配置关键词搜索

今天，小编给大家带来的教程为：前嗅ForeSpider脚本教程中频道脚本的应用场景以及脚本配置关键词搜索的实战教程。具体内容如下： 一.频道脚本使用场景当需要手动创建采集源列表，或者完全使用脚本采集数据时，在“频道脚本…

前嗅ForeSpider教程：链接抽取

今天，小编为大家带来的是：在前嗅ForeSpider采集过程中，链接抽取操作中的一系列知识点，主要内容有：如何关联模板，如何判断模板关联是否正确，选择链接类型以及过滤的三种方式。具体内容如下&#…

前嗅ForeSpider教程：如何创建新任务

从今天起，小编开始教大家逐步进行可视化配置操作。首先，我们来学习第一步：创建新任务，主要包括创建新任务的操作步骤，操作中的注意事项两部分内容。一，创建新任务操作步骤： 1.添加新任务点击任…

前嗅ForeSpider教程：运行设置（一）

今天，小编为大家详细介绍一下：前嗅ForeSpider运行设置中的采集速度，采集策略和任务装载，这三大模块。具体内容如下： 一，采集速度采集速度是调节任务采集快慢的一项设置，对采集速度的影响包括线…

前嗅ForeSpider教程：验证码设置

当我们遇到某些网站，采集每一条数据都需要输入一条验证码时，就用到了验证码设置。今天，小编为大家详细介绍一下：前嗅ForeSpider中的验证码设置。具体操作如下： 当采集某些网站的数据时，每一条数据都需要输入…

前嗅ForeSpider教程：运行设置（二）

今天，小编为大家详细介绍一下：前嗅ForeSpider运行设置中的网络超时，HTTP设置，加载设置，任务模式，这四大模块。具体内容如下： 一，网络超时【网络超时】 1. 接收超时当对方服务器繁…

前嗅可以采集公众号所有的历史消息啦！

前嗅可以采集公众号所有的历史消息啦！ 相信之前采集过公众号历史文章的人都知道，用搜狗微信搜索公众号进行数据采集很方便，但是这个方法也有一个比较大的缺点，那就是只能显示最近10条群发文章。所以&…

大数据辟谣：布洛芬用药不慎可能致死？如此标题党居心何在？

相信很多人看到一则“布洛芬用药不慎可能致死”的消息后，内心开始慌乱了。 （新闻来源：微博热搜排行榜） 毕竟健康是每一个人最关注的话题，而布洛芬也是很多人止痛（发烧头痛、喉咙痛、牙痛、月经痛等&#…

前嗅ForeSpider脚本教程：基础对象（二）

今天，小编给大家介绍一下：前嗅ForeSpider脚本中的基础对象，主要内容有：数组类array、键值对类hash、文件类file、字段操作类field。具体内容如下： 一.数组类array array 类为数组类。 1.类成员 2.成员方法 3.脚本应用 …

前嗅ForeSpider脚本教程：扩展对象（一）

今天，小编主要为大家介绍一下：前嗅ForeSpider脚本中的扩展对象：表单操作类schema，采集管理类extractor，采集频道类channel，以及频道模板类tmplTmpl。具体内容如下： 一.表单操作类schema schema…

前嗅ForeSpider脚本教程：频道脚本

今天，小编主要为大家介绍一下：前嗅ForeSpider脚本中的频道脚本。频道脚本是频道配置中的脚本, 如果配置了频道脚本，该频道的所有采集流程将被配置的脚本所接管。一.可用全局对象（只读） EXTRACT：当前采集引…

前嗅ForeSpider教程：抽取数据

今天，小编为大家带来的教程是：如何在前嗅ForeSpider中抽取数据。主要内容包括：如何选择表单，如何采集列表/表格数据两大部分。具体内容如下： 一，如何选择表单在ForeSpider爬虫中，表单是可以复用…

前嗅ForeSpider教程：IP代理设置

今天，小编主要为大家介绍一下：前嗅ForeSpider中的IP代理设置，主要内容包括：启用IP代理，静态代理设置，动态代理设置，这三大部分。具体内容如下： 一，启用IP代理启用IP代理…

前嗅ForeSpider脚本教程：标准对象（一）

今天，小编主要为大家介绍一下：前嗅ForeSpider脚本中的标准对象：爬虫链接类url，urltext采集的所有状态及属性类，html标签节点类domItem和（html）dom类dom。具体内容如下： 一.爬虫链接类…

前嗅教程：如何获取精准客源，提高销量

经常有人问嗅嗅，我是XX行业的，大数据能帮我做什么？可以给我带来客源吗？可以提高我的销量吗？可以增加我的利润吗？今天嗅嗅就以生鲜供货为例，为大家讲一讲外卖平台那些事~ 生鲜供货的客源除线下餐…

前嗅ForeSpider脚本教程-链接抽取：链接在源码的js变量里写脚本

今天，小编给大家带来的教程为：前嗅ForeSpider脚本教程-链接抽取中，链接在源码的js变量里写脚本的实战教程。具体内容如下： 链接地址可在源码中查找到。在目标网页右键，选择“查看源代码”，键盘点击“ctrlF”…

前嗅ForeSpider教程：采集360问答

今天，小编来教大家如何采集论坛自媒体类网站的数据，以采集360问答为例，为大家进行演示操作，该操作同样适用于其他类似网站： 第一步：新建任务 ①点击左上角“加号”新建任务，如图1： …

前嗅ForeSpider教程：采集美团网

今天，小编为大家演示一下，如何采集美团网数据，具体操作如下： 第一步：新建任务 ①点击左上角“加号”新建任务，如图1： ②在弹窗里填写采集地址，任务名称，如图2&#xff1…

前嗅ForeSpider教程：采集58同城数据

今天小编为大家带来的教程是，采集58同城数据，同样适用于其他类似网站，具体操作如下： 第一步：新建任务 ①点击左上角“加号”新建任务，如图1： ②在弹窗里填写采集地址，任务名称&…

前嗅ForeSpider脚本教程：脚本概述

本教程主要对前嗅ForeSpider脚本做了详细的介绍。主要内容包括：脚本结构，脚本与可视化配置的关系，各节点脚本之间的关系，以及脚本编辑区。具体内容如下： 一.ForeSpider脚本结构 ForeSpider脚本是前嗅自主研发的爬虫脚本…

前嗅ForeSpider教程：采集CSDN

上周小编介绍了如何采集360问答，今天小编再来为大家演示一下，如何采集CSDN论坛，同样适用于所有的自媒体论坛。第一步：新建任务 ①点击左上角“加号”新建任务，如图1： ②在弹窗里填写采集地址，…

前嗅ForeSpider教程：网站登录配置

当我们在采集中碰到：所采集的网站数据需要登录，才可以看到所需信息时，则需要在软件中模拟登陆环境，采集数据，此时需要配置登录信息。今天小编就教大家：如何进行网站登录配置，具体步骤如下&…

前嗅ForeSpider中数据浏览界面介绍

今天，小编为大家介绍一下，前嗅ForeSpider中数据浏览界面，具体内容如下： 在“数据采集”页面开始采集后，可以在“数据浏览”页面点对应的数据表，点击“刷新”按钮，即可实时查看采集到的数据。【…

前嗅ForeSpider脚本教程-链接过滤脚本

今天，小编给大家带来的教程为：前嗅ForeSpider脚本教程-链接过滤脚本，应用场景，地址/标题过滤。具体内容如下： 一.应用场景当可视化抽取到的链接包含不想要的链接地址时，需要进行过滤。可能用到的类是&…

前嗅ForeSpider脚本教程：字段取值脚本

字段取值脚本是字段的取值类型选择脚本取值时，需要配置的脚本。这一步是通过脚本来获取字段的填充值。注意：一旦有了字段取值脚本，则字段处理脚本将失效。一.可用全局对象（只读） EXTRACT: 当前采集引擎[ 对象类型: …

前嗅ForeSpider脚本教程：数据过滤脚本

数据过滤脚本与数据抽取脚本并列的脚本,它的作用是对抽取的数据进行过滤。注意：一旦有了数据过滤脚本则数据抽取脚本将失效，即“数据处理” 下拉菜单必须选择“数据过滤脚本”。一.可用全局对象（只读） EXTRACT：当…

前嗅ForeSpider脚本教程：数据抽取脚本

数据抽取脚本与数据过滤并列的脚本,它的作用是对抽取的数据进行过滤。数据处理脚本是数据抽取中的脚本。点击“数据抽取”节点，在“数据脚本”的下拉菜单必须选择“数据抽取脚本”。配置了数据处理脚本，数据的抽取流程将被改变： 1.如果脚本未…

前嗅ForeSpider脚本教程：链接过滤脚本

链接过滤脚本是地址和标题过滤中的脚本， 过滤类型必须选择脚本过滤时过滤脚本才能生效，过滤脚本用于处理复杂的链接或标题过滤需求。一.可用全局对象（只读） EXTRACT: 当前采集引擎[ 对象类型: extractor ] DATADB: 当前连接的数…

前嗅ForeSpider教程：采集新浪新闻

最近后台有很多童鞋问怎么采集新闻，今天小编以采集新浪新闻为例，来为大家进行演示，同样适用于其他新闻网站的采集，具体操作如下： 第一步：新建任务 ①点击左上角“加号”新建任务，如图1&#xf…

前嗅ForeSpider教程：采集图片/视频/资源文件的链接地址

昨天为大家介绍了如何采集图片/视频/资源文件后，有小伙伴问我如何采集他们的链接地址，今天小编就为大家演示如何采集图片/视频/资源文件的链接地址，操作如下： 第一步：新建任务 ①点击左上角“加号”新建任务&#xff…

前嗅ForeSpider教程：采集黄页88

今天小编为大家带来的教程是：采集黄页88，同时也适用于采集其他的企业信息网站，具体操作流程如下： 第一步：新建任务 ①点击左上角“加号”新建任务，如图1： ②在弹窗里填写采集地址，任…

ForeSpider5.0闪亮登场，低配版即将下架

本周我们期待已久的ForeSpider5.0版本就要闪亮登场了，在前嗅大数据众位大牛们昼夜不分的研讨，开发和测试后，ForeSpider5.0版本终于要和大家见面了，而随着ForeSpider的更新，我们官网上出售的所有低配版本将全部下架&…

关于前嗅Forespider爬虫的常见问题答疑

关于前嗅Forespider爬虫的常见问题答疑奋战在一线为客户答疑的狗蛋儿给小编提供了很多客户经常会问到的问题的素材，小编帮大家整理了一些，快来看看是不是都用的上吧！ 一、采集预览没有链接或数据？ &…

前嗅ForeSpider脚本教程：链接脚本

链接脚本是链接抽取中的脚本。配置了链接脚本，链接的抽取流程将被改变： 1.如果脚本未正确返回dom区域节点，则该链接抽取的规则将完全由该脚本控制。 2.如果脚本返回了一个正确的dom区域节点，则此链接抽取以返回的区域节点为基准…

前嗅ForeSpider教程：创建模板

今天，小编为大家带来的教程是：如何在前嗅ForeSpider中创建模板。主要内容有：模板的概念，模板的配置方式，模板的高级选项，具体内容如下： 一，模板的概念模板列表的层级相当于网页跳转…

前嗅ForeSpider脚本教程-数据抽取脚本实战教程

今天，小编给大家带来的教程为：前嗅ForeSpider脚本教程-数据抽取脚本实战教程的，应用场景，数据在源码的html标签里写脚本。具体内容如下： 一.应用场景当所需要的数据字段大部分需要配置脚本时，可将所有字段…

前嗅ForeSpider采集配置界面介绍

今天，小编为大家介绍一下，前嗅ForeSpider的采集配置界面，具体内容如下： 启动ForeSpider采集软件后，默认界面如图所示。ROOT任务下有已经配置好的示例模板，点击网站图标即可进行采集预览。可在任务列表选择某…

前嗅ForeSpider脚本教程-链接抽取：应用场景及链接在源码的html标签里写脚本

今天，小编给大家带来的教程为：前嗅ForeSpider脚本教程中，链接抽取的应用场景，以及链接在源码的html标签里写脚本的实战教程。具体内容如下： 一.应用场景当需要手动添加链接时，可添加链接脚本。在“链接…

前嗅ForeSpider脚本教程-链接抽取：自定义链接写脚本

场景：当采集的链接不存在于任何位置，或者想要采集自定义的链接。示例：天猫商品评论的链接。商品评论的链接不在源码中，只能自己拼接评论链接。点击评论翻页，观察翻页规律。取其中某一链接地址在网页中查看请求返回…

前嗅ForeSpider数据采集中采集列表界面介绍

从今天开始，前嗅的小伙伴们就开始上班了，在此小编代替前嗅所有员工，给大家拜个晚年，祝大家在新的一年工作顺利，万事如意！ 同时也为大家带来了新的教程：前嗅ForeSpider数据采集中采集列表的界面…

小心手里的“饼干” 它会泄露你的隐私

刚才嗅嗅在搜索平台A上搜索了一个词，找到了想要的东西后，关闭了该搜索平台后，继续刷网页，当访问到网站B时，发现在网站B的广告栏里出现了刚刚搜索过的那个词的相关广告信息。嗅嗅就感到很奇怪&#xff…

前嗅ForeSpider脚本教程-链接抽取：链接在POST请求里写脚本

今天，小编给大家带来的教程为：前嗅ForeSpider脚本教程-链接抽取中，链接在POST请求里写脚本的实战教程。具体内容如下： 当链接地址在源码中不存在，存在于post请求中时，需要使用浏览器的开发者工具来查找链接…

前嗅ForeSpider教程：采集中国证券网

前几天有人问如何采集中国证券网，小编整理了一下，在此为大家做一下演示，同样适用于其他金融经济型的网站： 第一步：新建任务 ①点击左上角“加号”新建任务，如图1： ②在弹窗里填写采集地址&…

大数据应用场景”之隔壁老王（连载二）

大家的好朋友，我们的好邻居老王时隔一周第二次闪亮登场了！！！上次给大家讲到老王通过小编公司爬虫的帮助找到了合适的合作伙伴，之后生意一直风生水起，但是老王并不满足于现状。当他听说可口可乐通过大数据分…