大学大数据实践，淘宝双11数据；数据分析；Spark；可视化展示

简介：
本项目聚焦于利用Spark技术对淘宝双十一海量交易数据进行高效分析，并通过数据可视化工具呈现分析结果，旨在探索电商领域的大数据应用与实践。 数据分析的目的是从看似杂乱无章的数据集中提炼出有用的信息，并揭示研究对象的本质规律。在实践中，通过数据分析可以帮助人们做出决策并采取适当的行动。这一过程涉及有组织地收集、分析数据以转化为信息，是质量管理体系的重要组成部分。 在整个产品生命周期中（包括市场调研、售后服务和最终处置），都需要运用数据分析来提高效率。例如，在工业设计领域，设计师通常会在开始一个新的项目之前进行广泛的设计调查，并通过数据分析确定最佳的设计方向。因此，数据分析在这一领域的应用极为重要。 离线数据处理主要用于复杂且耗时的数据分析任务，这些任务往往需要建立在一个强大的云计算平台上完成（比如基于开源的HDFS文件系统和MapReduce计算框架）。一个典型的Hadoop集群可以包含数百到数千台服务器，并存储数PB乃至数十PB的数据。每天运行着成千上万的任务来处理从几百MB至几百TB甚至更多的数据，每个任务可能需要几分钟、几小时或几天的时间。 在线数据分析（也称为联机分析处理）用于响应用户的实时请求，对反应时间要求较高（通常不超过若干秒）。相较于离线数据分析，在线数据分析更注重快速反馈和即时结果。