【大数据处理技术实践】期末考查题：集群构建、文件合并及数据统计可视化

简介：
本课程旨在通过实际操作，教授学生如何运用大数据处理技术。主要内容包括搭建高效能计算集群、整合分析大规模文件数据，并利用图表形式直观展示数据分析结果。 任务一：使用虚拟机搭建一个具有3个DataNode节点的HDFS集群，并将整个过程记录在实验报告中。首先，在配置好Hadoop主节点之后通过克隆的方式创建从属节点，以此实现三个节点的HDFS集群。 任务二： - 实验一：利用上述构建好的集群编程实现实现文件合并的功能（MergeFile）。具体来说，需要把数据集trec06p_sample中的所有文件合并为一个单一的大文件。假设用户目录在hdfs://localhost:9000/user/hadoop下，则将最终的合并结果输出至该路径下的merge.txt 文件中。 - 实验二：同样使用任务一搭建好的集群，对网站用户的购物行为数据集进行统计分析： - 对“behavior_type”字段的数据进行全面统计，并利用R语言生成柱状图展示统计数据； - 按月份分组后再做同样的统计操作并用图形表示出来。 实验环境配置如下： - 操作系统：Linux（CentOS） - 可视化工具：R - JDK版本:1.8