Hadoop 3.3.3 Winutils

简介：
Hadoop 3.3.3 Winutils是为Windows系统设计的一组实用工具，旨在兼容和增强Apache Hadoop文件系统的功能。 在Scala项目中的winutils.exe详解： 作用：模拟Linux环境 意义：Hadoop是基于Linux开发并在该环境中部署运行的，因此不能直接在Windows上原生运行Hadoop环境。由于操作系统环境的不同，在需要模拟Linux环境下使用时才需要用到winutils.exe。而在真正的Linux原生环境中则不需要它。 配置方法： - 在Windows环境中，将其放置于当前运行环境目录下的/bin文件夹中。 - 如果是Eclipse开发项目，则需将winutils.exe放在项目的根目录下的/bin/文件夹内即可。 Hadoop的演进过程：在Hadoop1.x时代，MapReduce同时处理业务逻辑运算和资源调度任务，这使得系统耦合度较高。到了2.0版本（即Hadoop 2.x），引入了Yarn来专门负责资源管理与分配，而MapReduce则专注于执行计算工作；直到3.x版本为止，其核心组件构成没有发生改变。 关于HDFS的介绍： - NameNode(nn)：存储文件系统的元数据信息包括但不限于文件名称、目录结构、属性（如创建时间戳、副本数量和访问权限）以及每个文件所对应的块位置及其所在的DataNodes。 - DataNode(dn)：在本地磁盘系统中保存着HDFS的数据块，并且会与NameNode进行通信来报告自己的状态及存储的Block信息。