大学大数据应用与淘宝双11数据分析；Spark及可视化分析

简介：
本课程聚焦于大数据在现代大学教育中的应用，并以淘宝双11为例深入探讨数据处理和分析技术。通过学习Spark技术和数据可视化工具，学员能够掌握高效的数据分析方法，为决策提供强有力的支持。 离线数据分析主要用于复杂的且耗时的数据处理任务，并通常构建在云计算平台上，比如开源的HDFS文件系统与MapReduce运算框架之上。这些平台上的Hadoop集群可能包含数百乃至数千台服务器，存储着数PB甚至数十PB的数据量，每天运行成千上万的任务进行数据处理，每个作业可以涉及从几百MB到几TB甚至是更多的数据，并且这些任务可能会持续几分钟、几个小时或者几天的时间。 在线数据分析也被称为联机分析处理（OLAP），用于响应用户的实时请求。它对响应时间有较高的要求——通常不超过若干秒。与离线数据分析不同，在线数据分析能够即时回应用户的需求，允许他们根据需要调整查询条件和限制因素。尽管它的数据处理量相对较小，但随着技术的进步，现代在线分析系统已经可以支持数千万乃至数十亿条记录的实时处理。 传统的在线数据分析架构基于关系数据库构建的数据仓库之上；而在大数据时代，则更多地依赖于建立在云计算平台上的NoSQL系统的架构来进行高效的海量数据管理。没有强大的在线分析能力，我们无法有效地存储和索引庞大的互联网网页内容，也就不会有如今快速响应且功能丰富的搜索引擎出现，更不会看到微博、博客等社交网络产品基于大规模数据分析的成功案例。