开发技术

Hadoop、HDFS、Spark、SpringBoot、echarts、PySpark、Python、MySQL

创新点

大数据架构、爬虫、数据可视化

啰里啰嗦

适合大数据毕业设计、数据分析、爬虫类计算机毕业设计

可二次开发选加推荐算法(协同过滤算法等或者调用SparkML库)

数据处理流程

本环节主要讲述的是对于整体项目功能的设计，设计方案为主要是由大数据系统以及可视化前端子系统组成。在可视化前端子系统中主要是采用了Springboot框架，mybatis框架，因为其去繁就简的特点，很容易创建一个独立的产品级应用，在可视化阶段采用Echarts来提供可交互的直观数据可视化图表。本系统采用的数据库是MySQL数据库，其目的是用来存储利用爬虫爬取到的大量招聘信息数据集和数据处理之后的分析结果。大数据系统中主要是对招聘信息数据集通过使用Hive进行数据清洗，然后再导入Hadoop HDFS中分布存储。在通过Spark并行计算进行数据抽取，多维分析，查询统计等操作来完成数据分析部分。在前端子系统中的数据明细查询功能中读取到MySQL数据库中的数据分析结果，最后生成Echarts图表展示给用户，大数据招聘信息智能分析平台的工作流程如下图所示。

 运行截图