kettle实现爬虫

news/2024/7/19 11:49:02 标签: kettle, 爬虫

步骤概览

99afbada89fc1a530aa574a5b6118f41.png

获取请求

4e68abd735b556b897dc8638a2fde63a.png

请求地址

东方财富网股票请求

自定义常量数据

获取HTTP请求之前,必须先定义一个URL常量作为HTTP client的输入

d20d680b0644885118fd3ec8644048c9.png

34e1d49a44a159b51e3be1e694fe1a08.png

HTTP client

5a46b3bf02e8cca94a63c0066dba259f.png

注:此处得到的数据并不是原生的json字符串,自己可以用文本文件输出测试以下。如下图

27d9d554c1200e21ed5d1ef529285fa1.png

JavaScript脚本

此步骤用于清洗不符合格式的json字符串,并以返回变量

以下代码用于获取括号内的字符串

a2c9ee709b4f51fa77b87fbb70933d09.png

json输入

1b707bebb092fd5a21fd2e69012acdbf.png

路径的语法是jsonpath,获取data对象中的klines数组的每个元素

a958750d53ce44ac24dab75b3db78ff1.png

注:现在得到的数据是一行一行以逗号分隔的数据,需要将这一列拆分成多列

55dbbfd847b4a122b482e519510cdce2.png

拆分字段

fb2c19a46abe4e73a0f59ce96ce9b552.png

文本文件输出

665bb0c824598cbe3f10b01f078926a7.png

选一下分隔符

6767bb3e8d60e09c02ec6857cf292134.png

选一下字段

8d767e9a37cead398bebb32bf9c0ef73.png


http://www.niftyadmin.cn/n/4973834.html

相关文章

Flink CDC数据同步

背景 随着信息化程度的不断提高,企业内部系统的数量和复杂度不断增加,因此,数据库系统的同步问题已成为越来越重要的问题。 缓存失效 在缓存中缓存的条目(entry)在源头被更改或者被删除的时候立即让缓存中的条目失效。如果缓存在一个独立的…

解释什么是软件开发生命周期(SDLC)?什么是测试驱动开发(TDD)?解释TDD的基本步骤?

1、解释什么是软件开发生命周期(SDLC)? 软件开发生命周期(Software Development Life Cycle,SDLC)是一种用于软件开发的方法,它包括软件项目的所有阶段和活动,从项目开始到项目结束…

IDEA对Web和Tomcat的一些配置

这里只是做了自己学习中的一点记录,仅供参考哈! 配置Tomcat Modules新增Web 新增module后新增Artifacts 新增Artifacts后Tomcat新增布署 将指定的module由普通java项目变成web项目 直接创建布署到Tomcat时所需要的Aritifacts包 配置Servlet的依赖包 配置…

Ubuntu22.04安装中文输入法►由踩坑到上岸版◄

Ubuntu22.04安装中文输入法►由踩坑到上岸版◄ 了解入坑上岸 更新一发:Gedit中文乱码问题的解决 为了方便回忆和记录甚至后面继续重装系统,我还是写一下以便将来用到或参考~ 了解 安装Ubuntu22.04(截至2023年08月26日11&#xff…

Harbour.Space Scholarship Contest 2023-2024 (Div. 1 + Div. 2)

Harbour.Space Scholarship Contest 2023-2024 (Div. 1 Div. 2) A. Increasing and Decreasing 思路&#xff1a; 我们可以通过an和b的单调递减来从后往前遍历找ai&#xff0c;不妨b11&#xff0c;然后反向加一&#xff0c;最后特判一下a数组是否满足a1x即可 #include<b…

大数据(二)大数据行业相关统计数据

大数据&#xff08;二&#xff09;大数据行业相关统计数据 目录 一、大数据相关的各种资讯 二、转载自网络的大数据统计数据 2.1、国家大数据政策 2.2、产业结构分析 2.3、应用结构分析 2.4、数据中心 2.5、云计算 一、大数据相关的各种资讯 1. 据IDC预测&#xff0…

c++ 学习之函数的默认参数

当在C中使用默认参数时&#xff0c;你可以在函数声明中为一个或多个参数指定默认值。这允许你在调用函数时&#xff0c;如果没有为这些参数提供实际值&#xff0c;编译器会使用你提供的默认值。这样可以在不同的情况下使用同一个函数&#xff0c;避免编写多个函数重载。 以下是…

数据结构算法--5 归并排序

归并排序 我们先看一下归并排序是怎么归并的 两个有序列表&#xff0c;有low指针指向2&#xff0c;high指针指向6&#xff0c;mid指针指向9 再建一个新列表&#xff0c;1<2&#xff0c;所以1放到列表&#xff0c;右指针右移一位&#xff0c;再比较2和3&#xff0c;2放入列…