数据科学练习题.docx

简介：
《数据科学练习题》是一份涵盖统计分析、机器学习和大数据处理等领域的实践文档，旨在通过大量实例帮助学生巩固理论知识并提升解决问题的能力。 大数据是指那些在传统数据处理技术下难以有效管理和分析的海量、高增长速度、多样化的信息资源。这些数据可能来自各种源头，包括社交媒体、传感器、交易记录等。通过分析和挖掘其中的模式和关联，可以为企业决策、市场预测、产品研发等方面提供依据。 Hadoop是由Apache基金会开发的一个分布式系统基础架构，用于处理和存储大量数据。它包含两个核心组件：HDFS（Hadoop Distributed File System）与MapReduce。最初由Doug Cutting为搜索引擎项目Nutch设计的框架演化而来，始于2004年。 HDFS是专门用来存储大数据的分布式文件系统，其中NameNode负责管理整个系统的命名空间和块信息；DataNode则根据NameNode的指令在集群中实际存储数据，并且每个文件会被分割成多个Block，在不同的DataNode上进行复制。默认情况下，副本数量为3以提供容错能力。 MapReduce是Hadoop处理大数据集的一种编程模型，它将计算任务分为两个主要阶段：Map和Reduce。通过这种方式可以并行地在各个节点上执行数据处理，并聚合结果数据。 此外，在CentOS7中可以通过`hostname`命令查看本机主机名；非结构化数据如监控视频、日志文件等无法用固定模式表示，与ERP系统或财务系统的结构化数据不同；SecondaryNameNode协助合并编辑日志以减轻NameNode的负担，并不是热备份方案。 HDFS适用于一次写入多次读取的数据处理场景，例如批量数据分析。它具有高容错性：即使某个DataNode出现故障，其他副本仍可继续提供服务保障业务连续性。