基于DeepFM、Hadoop和Spark的微信视频号大数据分析及推荐系统的毕业设计项目

简介：
本项目采用DeepFM模型结合Hadoop与Spark技术，构建高效能微信视频号数据分析与个性化推荐系统，优化用户体验。 项目的主要内容包括：1. 使用Hadoop作为分布式文件系统存储数据；2. 基于TensorFlow复现PNN、DeepFM论文中的模型；3. 构建推荐系统的架构，涵盖召回、过滤与精排阶段；4. 利用SparkStreaming进行流计算，持续将用户行为反馈给模型以优化下一次的推荐服务；5. 通过SparkStreaming对接Kafka源，实时消费并处理用户的操作数据；6. 使用PNN和DeepFM算法评估点击率（CTR）。 如今，各大互联网公司如腾讯、百度、阿里等已经开始应用推荐系统。在大数据时代背景下，用户难以清晰地识别自己的偏好，因此推荐系统的出现变得尤为重要。例如快手与抖音平台正在引入此类技术，通过收集用户的观看行为数据——包括点赞、评论、收藏及视频播放时长等信息进行分析，并据此帮助用户发现他们的兴趣所在，从而提供他们可能感兴趣的视频内容。 同样，在广告领域也有所应用：当用户在搜索引擎中输入关键词搜索时，系统会根据这些查询词来关联相关广告商并推荐给用户一些相关的广告以提高点击率。