SQLflow:基于python开发的分布式机器学习平台, 支持通过写sql的方式,运行spark, 机器学习算法, 爬虫...

news/2024/7/19 9:36:12 标签: 人工智能, 爬虫, 大数据
项目git:https://github.com/lqkweb/sqlflow

SQLflow (python3+)

Sqlflow based on python development, support to Spark, Flink, etc as the underlying distributed computing engine, through a set of unified configuration file to complete the batch, flow calculation, the Rest service development.

2019-01-22 更新界面,近期会规范一下代码,写一些注释并加入读写功能

主页:
sqlflowindex.png

结果页面:
sqlflowdemo.png

项目目标

基于python开发的分布式机器学习平台, 支持通过写sql的方式,运行spark, 机器学习算法, 爬虫

安装python3环境, 执行项目

git clone https://github.com/lqkweb/sqlflow.git

pip install -r requirements.txt

(sqlflow/sqlflow/execute/main.py 中的data.csv需要修改成你电脑中的绝对路径,数据文件在sqlflow/data/中)

python manage.py

打开http://127.0.0.1:5000 就可以测试了。

项目测试

在http://127.0.0.1:5000/demo输入框输入:
测试1:

select * from A limit 3;

测试2:

select * from A limit 3 as B;

新开一个http://127.0.0.1:5000/demo网页, 直接就可以查询数据表B了:

select * from B limit 2;

as B 相当于创建了一个B临时表。
是不是很简单。

正在新增sql版机器学习算法功能, 谢谢支持。
正在新增sql版爬虫功能, 谢谢支持。
记得给个start鼓励一下!Thanks(・ω・)ノ

http://www.niftyadmin.cn/n/974800.html

相关文章

Systemd简介与使用

按下电源键,随着风扇转动的声音,显示器上开启的图标亮起。之后,只需要静静等待几秒钟,登录界面显示,输入密码,即可愉快的玩耍了。 这是我们大概每天都做的事情。那么中间到底发生了什么? 简单地…

C++中int和long long特别容易被忽略的点,在做乘法的时候即使单个变量在int范围内,如果乘积超了int,也需要将乘数定义为longlong 否则会出错(专用)

C++中int和long long特别容易被忽略的点,在做乘法的时候即使单个变量在int范围内,如果乘积超了int,也需要将乘数定义为longlong 否则会出错 请看示例: #include <bits/stdc++.h> using namespace std;int main(){int i = 100000000;long long j =

python 三维数组找最小值

#声明三维数组 num[[[33,45,67],[23,71,66],[55,38,66]], \[[21,9,15],[38,69,18],[90,101,89]]] valuenum[0][0][0]#设置main为num数组的第一个元素 for i in range(2):for j in range(3):for k in range(3):if(value>num[i][j][k]):valuenum[i][j][k] #利用三重循环找出最…

最新收集的精彩文章

1. 儿童如何与数字媒体互动 “关闭媒体&#xff0c;开启生活”&#xff0c;来自韩国Nori媒体教育预防网络成瘾教育中心的宣传视频&#xff0c;这是一个由私人和公共资金混合资助的组织。 它的经理Kwon Jang-hee热衷于保护儿童免受互联网的不良影响&#xff0c;尤其是智能手机&…

联想笔记本如何安装固态硬盘-联想G50-80如何安装固态硬盘(全流程+装系统)

一、硬件准备 联想G50-80 东芝固态硬盘&#xff1a;TOSHIBA TR2000 480G&#xff08;参考价格&#xff1a;379元人民币&#xff09; 启动U盘&#xff08;用于装系统&#xff0c;需要事先制作好&#xff09; 二、详细步骤 1、断电、关机。拔掉电源插头&#xff0c;关机。一定…

QT5.8.0+MSVC2015安装以及环境配置(不需要安装VS2015)

原文:QT5.8.0MSVC2015安装以及环境配置&#xff08;不需要安装VS2015&#xff09;版权声明&#xff1a;本文为博主原创文章&#xff0c;未经博主允许不得转载。 https://blog.csdn.net/snow_rain_1314/article/details/82929322 首先附上两篇参考的博客&#xff1a;https://blo…

软件工程之系统建模篇【设计数据模型】

数据模型描述系统持久性数据库层的逻辑内容与结构&#xff0c;数据模型用UML的类图描述。首先简要介绍数据模型的设计方法及关系数据库的几个术语&#xff0c;然后依次介绍如何将类映射到表、将关联映射到关系数据库及将泛化映射到数据库。 数据库模型从层次上可以分为3类&…

联想笔记本如何安装固态硬盘-联想G50-80如何安装固态硬盘(全流程+装系统)(专用)

一、硬件准备 联想G50-80 东芝固态硬盘:TOSHIBA TR2000 480G(参考价格:379元人民币) 启动U盘(用于装系统,需要事先制作好) 二、详细步骤 1、断电、关机。拔掉电源插头,关机。一定确保电脑断电、关机,严禁开机状态下操作。 2、取下电池。为确保更换过程电脑不会意外…