大数据平台比较：Hadoop、Storm、Samza、Spark与Flink

简介：
本文章对比分析了五大主流的大数据处理平台——Hadoop、Storm、Samza、Spark和Flink，深入探讨其技术特点及应用场景。 大数据是指收集、整理及处理大量数据集，并从中获取见解所需的非传统战略和技术的总称。尽管过去处理这些数据需要超出单台计算机计算能力和存储容量的需求早已存在，但此类技术在最近几年才经历了大规模扩展。之前的文章中我们已经介绍了有关大数据系统的常规概念、处理流程以及相关专业术语，本段落将介绍大数据系统中最基本的组件之一：处理框架。该框架负责对系统中的数据进行计算操作，例如读取非易失性存储器中的数据或刚刚加入到系统中的新数据。从大量单一的数据点中提取信息和见解的过程即为所谓的“数据计算”。接下来我们将详细介绍几种不同的处理框架，其中包括仅批处理的框架等。