大数据——第一章概述笔记分享.pdf

简介：
这份PDF文档包含《大数据》课程第一章的内容概要和学习笔记，适合于希望快速掌握大数据基础概念和技术要点的学习者参考。 【大数据概述】 大数据是指数据量巨大、处理速度快且种类繁多的数据集合，并具有价值密度低的特点。这一概念的出现与三次信息化浪潮密切相关：第一次信息化浪潮始于1980年前后，由个人计算机引领，解决了信息处理的问题；第二次浪潮在1995年前后，以互联网为核心，实现了信息传输；第三次浪潮则发生在2010年前后，物联网、云计算和大数据成为主要推动力量。 数据的产生方式经历了从运营式系统到用户原创内容再到感知式系统的转变。物联网作为最底层的基础技术平台通过摄像头、传感器等设备大量收集数据，推动了大数据时代的发展。大数据发展分为萌芽期、成熟期及大规模应用阶段三个时期。 四V特征（Volume, Velocity, Variety 和Value）定义了大数据的核心特性，并对传统思维方式提出了新的挑战：全样而非抽象化处理；效率优先于精度要求；相关性分析取代因果关系研究。 【典型应用场景】 例如，影视剧制作利用观众喜好定制剧情走向。谷歌流感趋势预测则通过搜索数据来识别潜在的流行病爆发情况。这些实例展示了大数据在不同领域的应用潜力。 【关键技术】 关键的数据存储技术包括分布式系统如GFSHDFS、Big TableHbase、NoSQL和NewSQL等；而处理技术则涵盖了MapReduce及Spark，其中后者基于内存计算以提高效率并适用于实时需求场景。 【数据分析模式】 除了传统的离线批处理（例如使用MapReduce），大数据还支持流式分析、图算法以及查询与解析等多种数据处理方式。这些方法共同满足了不同业务环境下的多样化需求。 【与其他技术的关系】 大数据是云计算服务的重要组成部分，而物联网则是其主要的数据来源之一。三者相互关联并推动信息技术的持续创新和发展，在数字化世界中扮演着至关重要的角色。