基于Scala的大数据非关系型数据库课程设计——交通拥堵预测源码及项目说明.zip
5星
- 浏览量: 0
- 大小:None
- 文件类型：None
简介：
本资料为基于Scala语言的大数据非关系型数据库课程设计案例，聚焦于交通拥堵预测。内含完整源代码与详尽项目文档，适合深入学习大数据分析技术。
**大数据非关系型数据库课程设计-基于Scala的交通拥堵预测源码+项目说明**
本资源中的所有代码经过测试并验证功能正常后才上传，请放心下载使用！此项目适用于计算机相关专业的在校学生、教师及企业员工，也适合初学者进阶学习或在实际项目的借鉴参考。同样可以作为毕业设计项目、课程作业或初期立项演示的素材。如果有一定的基础，也可以在此代码基础上进行修改以实现其他功能。
**编写生产者**
1. 新建子模块工程：tf_producer
- 选择Maven 工程，并添加Scala支持。
2. 配置maven依赖。
3. 因为数据需要发送给kafka，所以配置kafka属性并保存于某个配置文件中。
4. 编写加载kafka属性的工具类。
5. 模拟交通状况：每隔五分钟切换一次状态（例如前五分种车速都在30KM/H以上，后五分钟则在10KM/H以下），以此模拟公路上堵车和不堵车的情况交替出现。
6. 启动zookeeper及kafka，并创建kafka主题并检查其存在性。
7. 将数据发送至kafka并通过kafka console-consumer进行检测。
**编写消费者**
1. 新建子工程：tf_consumer
2. 配置maven依赖。
3. 配置redis并测试连接情况。
4. 复制之前使用的kafka.properties及PropertyUtil文件过来使用。
5. 编写操作Redis的工具类：RedisUtil。
6. 读取kafka中的数据，并实时保存到redis中，同时根据分钟和监测点对车速与车辆数量进行聚合。
**编写数据建模代码**
1. 确定用于建模的目标监测点。
2. 找出目标监测点的其他相关监测点（例如属于同一条公路）。
3. 从Redis中获取以上所有监测点若干小时内的历史数据信息，一部分作为训练集，另一部分作为测试集使用。
4. 提取并组装特征向量与目标向量，进行模型参数训练，并保存符合吻合度的模型到HDFS中。同时将该模型路径存放到redis中。
**编写预测模块**
1. 用户输入想要预测的时间节点，读取该时间节点前3分钟、2分钟和1分钟的数据。
2. 通过历史数据集来预测传入时间点的车流状态。
为了方便观察测试效果，建议使用一个已知的历史时间点进行测试。这样可以直观地看出预测结果是否符合预期值。
全部评论 (0)
