
电影网站提供了一个分布式电影推荐系统的源代码。
5星
- 浏览量: 0
- 大小:None
- 文件类型:None
简介:
该项目为北京大学2019年秋季的“云计算与大数据平台”课程所完成的分布式电影推荐系统。它巧妙地融合了Hadoop、Hbase、Spark、MongoDB和Django等流行的开源框架,构建了一个高度可靠且分布式的电影推荐解决方案,并为用户提供了便捷的Web界面进行访问。该系统具备了核心的功能,包括用户登录与注册、个人信息的维护、按类别展示电影列表、电影搜索功能以及详细的电影信息浏览。此外,用户还可以查看电影评分和评论。同时,系统还包含一个后台管理模块,用于管理电影推荐策略。具体而言,该系统采用了协同过滤推荐、兴趣推荐以及在线推荐等多种方法。系统的整体架构如图2所示。为了验证系统的性能和可行性,我们基于MovieLens 20M6数据集进行了实验,并将数据集中的rating.csv文件存储在HDFS中并创建副本。同时,我们从IMDB7网站爬取了包含电影基本信息和图片的数据集,对电影基本信息进行了处理后存储到MongoDB数据库中;而电影图片则存储在Hbase集群中。计算模块则运行在YARN上进行资源分配,其中Spark负责离线推荐计算任务的执行(每天执行一次),Spark Streaming负责实时在线推荐计算的需求响应。
全部评论 (0)
还没有任何评论哟~


