基于Spark的高校数据管理系统

简介：
本系统基于Apache Spark开发，旨在高效管理与分析高校各类大数据。适用于学生、教师信息处理及科研数据分析等场景。 介绍基于Spark的高校数据分析系统。该系统实现了Spark-core（被注释了）、Spark-ML以及Spark-streaming功能。虽然Spark-streaming已经过时了很久，但对于学习来说还是足够的。streaming存在很多弊端，但主要思想是处理流式RDD。 项目文件结构如下： - spark_student：IDEA项目文件。 - makeDataByPython : 模拟服务器制造log日志的python代码。 - other : 代码设计过程中的思路和想法。 - PPT：项目展示的PPT。 - reference_code ：参考代码。 - reference_data：参考数据。 - running_sh：软件运行脚本。 - spark_JAR：web_spark.jar。 - README.assets：是README.md 的引用文件。 该系统的架构运行环境包括centos 6.x、java、kafka、zookeeper、Flume、Hbase、HDFS、YARN和MySQL。