本教程详细介绍在Windows 10操作系统中安装和配置Hadoop 2.8.3版本的完整过程,适合初学者快速上手大数据开发环境。
在Windows环境下安装Hadoop-2.8.3的详细步骤如下:
1. **准备环境**:
- 安装Java开发工具包(JDK),确保系统中已配置好JAVA_HOME环境变量,并将%JAVA_HOME%\bin添加到PATH环境中。
2. **下载并解压Hadoop**:
- 从Apache官方网站下载hadoop-2.8.3版本的源码或二进制文件,将其解压缩至指定目录。
3. **配置Hadoop**:
- 编辑`etc/hadoop/hadoop-env.sh`(如果使用Linux系统)或者在Windows中手动创建并编辑一个类似环境变量设置的文本段落件。确保正确设置了JAVA_HOME。
4. **修改核心和yarn配置**:
- 在`core-site.xml`、`hdfs-site.xml`、`mapred-site.xml.template`(重命名为 mapred-site.xml) 和 `yarn-site.xml` 文件中,根据需要设置相关参数如fs.defaultFS, yarn.resourcemanager.hostname等。
5. **格式化HDFS**:
- 执行命令:`bin/hdfs namenode -format`
6. **启动集群服务**:
- 先运行NameNode和DataNode: `sbin/start-dfs.sh`
- 再启动YARN资源管理器和其他相关组件: `sbin/start-yarn.sh`
7. **测试安装的正确性**:
- 使用`jps`命令检查是否所有Hadoop进程都已成功启动。
8. **使用自带示例程序CountWord**
- 在本地创建一个文本段落件,例如:hello.txt
- 将该文件上传至分布式文件系统(HDFS): `hdfs dfs -put hello.txt /user/username/input`
- 运行MapReduce的单词计数例子:`bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.3.jar wordcount /user/username/input /user/output`
以上步骤详细介绍了如何在Windows环境下安装和配置Hadoop 2.8.3,并演示了使用自带示例程序CountWord来验证环境是否正确设置。