Spark在大型项目中的实战应用：电商用户行为分析的大数据平台开发实战。

简介：
本课程共包含逾百小时的详尽讲解，对于感兴趣的伙伴们，建议通过百度网盘自行下载，链接已在附件中提供，并保证永久有效。课程内容聚焦于一个真实的、复杂的大型企业级大数据项目，它是一套深入的Spark大型项目实战课程。通过学习此系列课程，学员能够积累丰富的Spark项目经验，从而顺利进入Spark高级开发领域。课程亮点如下：1、该项目全面涵盖了Spark Core、Spark SQL和Spark Streaming这三个核心技术框架的初级和高级技术点与知识点，旨在让学员理论与实践相结合，通过单套课程即可掌握将Spark各项技术点和知识应用于真实项目中的方法，从而满足实际业务需求！2、项目中的四个功能模块均提取自真实的企业项目中，并经过技术整合与改良，均为企业级的复杂且真实的需求场景。这些业务模块复杂度极高，远超市面上常见的Dem级别的大数据项目所能提供的对比，学习完成后能够显著提升学员在企业级项目实战方面的经验。3、该项目通过实际的功能模块和业务场景，以及讲师曾经开发过的处理十亿乃至百亿级别数据的Spark作业经验积累，系统地阐述了大量的先进复杂性能优化技术、故障排除经验以及全面的数据倾斜处理方案。这无疑将帮助学员掌握尖端的Spark技术！4、该项目采用完全还原企业大数据项目开发场景的方式进行讲解，每个业务模块的讲解都涵盖了需求分析、方案设计、数据设计、编码实现、功能测试以及性能调优等环节，力求真实还原企业级大数据项目的开发流程。 模块详情如下：1、用户访问会话分析模块：主要负责对用户访问会话进行统计分析。包括会话聚合指标计算、按时间比例随机抽取会话、获取每日点击量排名前十的品类以及获取top10品类点击量排名前十的会话信息。该模块能够直观地帮助产品经理、数据分析师以及企业管理层了解不同条件下的具体用户行为及统计指标，从而对公司的产品设计和业务发展战略进行调整。主要采用Spark Core实现。2、页面单跳转化率统计模块：主要计算关键页面之间的单步跳转转化率,涉及页面切片算法和页面流匹配算法. 该模块能够帮助产品经理、数据分析师以及企业管理层看到各个关键页面之间的转化率,从而对网页布局进行优化设计. 主要采用Spark Core实现.3、热门商品离线统计模块：主要实现每天统计出各个区域的热销商品Top 3. 然后使用Oozie进行离线统计任务的定时调度,使用Zeppeline进行数据可视化报表展示. 该模块能够帮助企业管理层了解公司销售商品的整体情况,从而对公司的商品相关战略进行调整. 主要采用Spark SQL实现.4、广告流量实时统计模块：负责实时统计公司的广告流量,包括广告展现流量和广告点击流量, 实现动态黑名单机制及黑名单过滤, 实现滑动窗口内的各城市的广告展现流量和广告点击流量的实时统计, 实现每个区域Top 3点击量的广告的实时统计. 主要采用Spark Streaming实现。