本PDF涵盖了云计算与大数据的基本概念、技术框架及应用实践,旨在通过实例帮助读者理解和掌握相关技能。
云计算是一种基于互联网的服务模式,它通过网络提供动态可扩展的虚拟资源来增加、使用和交付服务。云是网络或互联网的一种比喻说法。
分布式计算与集中式计算相对立,它是将大型应用分解成多个小部分,在多台计算机上并行处理的方法,这可以显著提高效率,并节省大量时间完成复杂任务所需的时间。
云计算的特点包括:
1. 超大规模:例如Google的云服务拥有超过一百万台服务器。企业私有云通常也有几百到几千台。
2. 虚拟化:用户可以通过互联网访问应用和服务而无需关注其具体位置或运行环境。
3. 高可靠性:云使用数据多副本容错等技术保障高可靠的服务,比传统本地计算机更稳定和安全。
4. 通用性:云计算不针对特定的应用程序,在“云”的支持下可以构建各种不同的应用程序,并且同一平台可同时支撑不同应用的运行。
5. 高扩展性:云可以根据需要进行动态伸缩以满足用户需求的增长。
6. 按需服务:“云”是一个庞大的资源池,根据实际使用量按需购买和付费。
7. 极其廉价:利用低成本硬件节点构建“云”,并通过自动化管理和高利用率来降低运营成本。
云计算的关键技术有虚拟化、分布式文件系统、分布式数据库等:
1. 虚拟化是实现多操作系统监视及物理资源共享的重要基础设施。
2. 分布式文件系统的优点包括数据冗余备份以确保可靠性,分级存储和并行读写提高访问性能,在线迁移不影响应用运行。
3. 分布式数据库支持动态负载均衡、故障节点接管等特性。
集群是一组计算机作为一个整体向用户提供网络资源,这些单个的计算机就是集群的节点。
1. 可扩展性:可以加入新的服务实体来增强性能;
2. 高可用性:通过冗余避免单一故障点影响数据访问和可靠性;
3. 负载均衡:将任务均匀分配到计算和网络资源以提高吞吐量;
4. 错误恢复:当节点发生问题时可以无缝转移到其他节点继续运行。
分布式与集群的主要区别在于,分布式是把不同的业务分散在不同地方处理,而集群则是集中多台服务器实现同一服务。