本教程提供了一个详尽指南，在CentOS 7操作系统上手动安装和配置Hadoop 2.8.3的全过程，适合初学者参考。
在CentOS系统下安装Hadoop-2.8.3的详细步骤包括如何调用原生CountWord并输出结果。首先需要确保你的系统已经安装了Java环境，并且配置好SSH免密登录到自己机器上，然后下载对应的hadoop版本进行解压和配置。
1. **检查Java环境**：使用命令`java -version`来确认已安装的JDK是否为Hadoop所支持的版本。如果没有，请先安装合适的JDK。
2. **设置SSH免密登录**：由于Hadoop需要通过SSH在本地执行远程操作，因此你需要配置好无密码登录机制。
3. **下载和解压**：
- 进入到你想要存放文件的位置（如`/usr/local/src`），然后使用wget或者直接浏览器下载hadoop-2.8.3的tar.gz压缩包。
- 下载完成后，执行命令来解压：`tar -zxvf hadoop-2.8.3.tar.gz`
4. **配置环境变量**：
- 打开或创建一个名为`.bashrc`或者`.profile`的文件，在该文件中添加Hadoop的相关路径。
- 例如，可以设置如下内容： `export HADOOP_HOME=/usr/local/src/hadoop-2.8.3`
`export PATH=$PATH:$HADOOP_HOME/bin`
5. **配置核心参数**：
- 进入到`conf/`目录下找到`core-site.xml`, 在其中添加以下信息来设置临时目录和主名称节点位置。
6. **配置MapReduce相关参数**：
- 编辑文件`mapred-site.xml`，如果不存在该文件，则需要从模板复制一份并重命名。在新创建的文件中定义YARN作为资源管理器。
7. **HDFS设置**：
- 在hdfs-site.xml内指定数据块副本数量、名称节点地址等参数。
8. **配置Yarn相关属性**：
- 通过修改`yarn-site.xml`来设定NodeManager和ResourceManager的主机名，以及日志记录级别。
9. **格式化HDFS文件系统并启动集群**：使用命令如 `hdfs namenode -format`, 然后运行脚本 `$HADOOP_HOME/sbin/start-dfs.sh`
10. **执行原生CountWord程序**：
- 首先需要将测试数据上传到HDFS，例如通过`hadoop fs -put /path/to/inputfile /user/username/testinput`
- 接下来在命令行中运行 `hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.3.jar wordcount hdfs://localhost:9000/user/username/testinput hdfs://localhost:9000/user/username/output`
- 最后查看结果，通过命令 `hadoop fs -cat /user/username/output/part-r-0000*`
以上就是CentOS环境下安装Hadoop 2.8.3并运行原生CountWord程序的步骤。
5星
