基于Hadoop的豆瓣电影数据分析实验报告

简介：
本实验报告基于Hadoop平台对豆瓣电影数据进行深度分析，涵盖用户行为、影片评价和标签分类等多个维度，旨在挖掘潜在观影趋势与偏好模式。 豆瓣用户每天都会对“看过”的电影进行从“很差”到“力荐”的评价。根据每部影片的观影人数以及观众给出的评分等综合数据，通过算法分析得出豆瓣电影 Top 250榜单。 为了研究电影产业的发展趋势，本次实验需要对这些信息进行统计分析。需要注意的是，豆瓣网站的数据以文本段落件形式提供（必须先导入到Hive中处理）。也可以是CSV格式。 针对这次实验的开展，我们需要使用Hadoop集群作为模拟大数据分析工具，并且该环境需包含hdfs、hbase、hive、flume和sqoop等插件。最后结合分析出来的数据进行可视化展示，则需要用到Python（用于爬取数据集及实现可视化）或者echarts等可视化工具有助于更好地呈现数据分析结果。