本文档详细介绍了Hadoop集群的部署步骤和方法，并通过具体实验来验证部署效果，适合初学者学习使用。
### Hadoop集群部署及测试实验知识点详述
#### 一、实验目的与要求
本实验旨在通过实际操作让学生深入了解并掌握Hadoop集群的基本安装、配置及简单的测试过程，具体目标包括：
1. **理解虚拟机环境搭建**：
- 掌握在虚拟机上安装CentOS操作系统的方法。
- 学会使用常见的Linux发行版（如Ubuntu、CentOS、Red Hat和SUSE Linux）。
2. **熟悉Linux基础操作**：
- 掌握基本的Linux命令行操作。
- 理解Linux系统的文件结构。
3. **JDK安装与配置**：
- 在Linux系统上安装JDK并正确配置环境变量。
- 了解如何验证JDK安装是否成功。
4. **SSH远程免密登录设置**：
- 掌握SSH服务的安装与配置。
- 实现主机之间的免密登录。
5. **Hadoop集群安装与配置**：
- 下载并安装Hadoop软件。
- 配置Hadoop的核心文件（包括`hadoop-env.sh`、`core-site.xml`、`hdfs-site.xml`、`mapred-site.xml`和 `yarn-site.xml`）。
- 启动并测试Hadoop集群。
#### 二、实验条件
- **硬件配置**：
- CPU: I3
- 内存: 8GB
- 硬盘: 256GB
- **操作系统**：
- Windows7/Windows8/Windows10
- **软件工具**：
- VMware Workstation（用于虚拟机环境搭建）
- CentOS-7-x86_64-DVD-1810.iso（操作系统镜像文件）
- SecureCRT（用于SSH连接）
- **系统架构图**：
- Hadoop01 (Master)
- Hadoop02 (Slave)
- Hadoop03 (Slave)
虚拟交换机采用NAT模式，确保与外网连通。
#### 三、实验步骤详解
1. **下载所需文件**：
- 下载CentOS安装镜像和SecureCRT等软件。
2. **创建虚拟机目录**：
- 使用英文命名虚拟机文件夹以便于后续管理和识别。
3. **创建并配置虚拟机**：
- 打开VMware Workstation，新建一个虚拟机。
- 引导ISO文件安装CentOS系统。
- 根据个人电脑配置合理分配虚拟机资源。
4. **安装操作系统**：
- 启动虚拟机后选择GNOME桌面安装（可选）。
- 设置账号密码和创建用户。
5. **启动虚拟机**：
- 用户可以选择迷你版或桌面版根据需求进行选择。
6. **Hadoop运行环境搭建**：
- 测试虚拟机联网情况。
- 安装必要的工具包，如epel-release 和 net-tools。
- 关闭防火墙以确保网络连接正常。
7. **JDK安装与配置**：
- 下载JDK安装包。
- 使用SecureCRT的SFTP功能上传文件至虚拟机中。
- 在 `exportservers` 目录下解压并安装JDK。
- 编辑 `/etc/profile` 文件，设置环境变量以支持 JDK 的使用。
- 执行 `source /etc/profile` 命令使配置生效。
- 验证JDK是否成功安装。
8. **Hadoop 安装**：
- 下载 Hadoop 2.7 版本的安装包，解压到虚拟机中的 `exportservers` 目录下。
- 编辑 `/etc/profile` 文件并配置环境变量以支持 Hadoop 的使用。
- 执行 `source /etc/profile` 命令使配置生效。
- 使用命令 `hadoop version` 验证Hadoop安装是否成功。
9. **配置Hadoop核心文件**：
- 修改 `/usr/local/hadoop/etc/hadoop/hadoop-env.sh` 文件，指定JDK路径。
- 配置 `/usr/local/hadoop/etc/hadoop/core-site.xml` 文件以设置 HDFS 的默认文件系统。
- 定义数据块副本数量并配置 `hdfs-site.xml` 文件中的相关参数。
- 设置MapReduce和YARN的相关参数，并在 `mapred-site.xml` 和 `yarn-site.xml` 中进行相应的修改。
- 更新 `/usr/local/hadoop/etc/hadoop/slaves`文件，添加所有集群节点的主机名。
通过上述步骤可以完成Hadoop集群的搭建与初步测试，为进一步的学习和开发打下坚实的基础。这些步骤涵盖了Hadoop集群部署的关键知识点，并为初学者提供了非常有价值的
5星
