Hadoop与大数据.doc

简介：
本文档探讨了Hadoop在处理和分析大规模数据集中的应用，介绍了Hadoop生态系统及其组件，并讨论了它在大数据领域的重要性。 大数据技术正在向各行各业渗透。作为数据分布式处理系统的典型代表,Hadoop已经成为该领域的事实标准,但Hadoop并不等于大数据本身,它只是一个成功的离线数据分布式系统，在大数据领域中还存在众多其他类型的处理系统，因此Hadoop不能完全替代所有的大数据需求和应用。 随着信息化技术和宽带网络的快速发展以及云计算、移动互联网和物联网等新一代信息技术的广泛应用，全球的数据量正在以惊人的速度增长。与此同时，一系列用于收集、存储及处理这些海量信息的技术迅速发展并汇聚起来。结合日益强大的计算能力,从庞杂的数据中提取有价值的信息变得越来越容易。 所谓大数据是指能够快速获取各种类型数据中有价值信息的能力，并且这种技术需要新的处理模式来增强决策力、洞察力和流程优化能力，以应对海量高增长率及多样化信息资产的挑战。它指的是那些超出传统处理范围的大规模复杂数据集,通常采用非传统的技术手段进行管理。 与过去的大量数据相比，大数据具有四大特点：Volume（体量大）、Variety（多样性）、Value（价值密度低）和Velocity（速度快）。首先，在10TB以上的范围内甚至达到PB级别的存储量。其次，除了数值型的数据外还包括文字、声音、视频等不同格式的非结构化或半结构化的数据类型。再次,有价值的信息往往隐藏在庞大的无用信息中，需要像淘金一样仔细筛选。最后，能够在大量数据的情况下实现实时处理。 大数据技术是指从各种规模的大体量数据中快速获取有价值信息的技术,这是大数据的核心问题。目前所说的大数据不仅指其本身的规模大小,还包括采集、管理和分析这些海量数据的工具平台和系统等组成部分。研发大数据的目标是促进该领域的突破性发展，通过解决大规模的数据处理难题来推动技术进步。 伴随大数据技术的发展,Hadoop因其开源特性和优秀的性能成为当前最受欢迎的技术之一，但有人认为Hadoop就是大数据本身,这其实是一个误解。实际上,Hadoop只是用于离线数据的分布式存储和处理系统，在实时流式数据、关系型数据库等场景下还有其他如Storm、Oracle及Splunk等多种主流的大数据解决方案。 2.1 Hadoop的核心模块包括：Hadoop Common（提供各种工具，是整个项目的基础）、HDFS(高吞吐量的数据访问)以及YARN和MapReduce框架。这些组件共同构成了一个强大的分布式计算环境,支持大规模的并行处理任务。 作为分布式计算领域的代表,Hadoop相比其他系统具有更强的可扩展性等优点，在不停止集群服务的情况下，可以实现资源的有效分配和重写配置以适应不断变化的需求。