本实验详细介绍了如何在Hadoop环境下安装、部署与配置HBase的过程，涵盖环境搭建、组件安装及参数优化等关键步骤。
### Hadoop（Hbase）的安装部署与配置实验知识点总结
#### 一、实验环境准备
1. **硬件配置**
- CPU: Intel Core i5-3317U @ 1.7GHz
- 内存: 8GB
- 操作系统：Windows 8 + Ubuntu 12.04 LTS (64位VMware虚拟机)
2. **软件安装**
- 安装**VMware**: 虚拟机管理工具。
- 在VMware中安装Linux发行版Ubuntu 12.04 LTS作为实验平台。
- 下载并安装JDK 7，设置环境变量。
3. **Hadoop的安装**
- 下载选择Hadoop版本为1.2.1。
- 将下载的包解压到`opt`目录中。
- 修改`etcprofile`, 添加Hadoop路径至环境变量配置文件中，并使修改生效。
- 配置相关文件:
`hadoop-env.sh`: 设置Java安装路径；
`core-site.xml`: 设置临时数据存储位置；
`hdfs-site.xml`: 配置HDFS参数；
`mapred-site.xml`: 配置MapReduce参数。
- 创建并设置`hometianjunhadoop`和`opthadooplogs`目录的权限。
#### 二、复制多个虚拟机实现通信
1. **虚拟机克隆**
- 使用VMware中的“完全克隆”功能来复制Ubuntu虚拟机。
- 查询每个虚拟机的IP地址。
- 编辑各台机器上的`etchosts`文件，添加master、slave1和slave2的IP地址。
2. **SSH免密码登录配置**
- 在每台主机上执行命令`ssh-keygen`生成公钥与私钥对。
- 安装并启动`openssh-server`.
- 将主节点的公钥复制到从节点的`~/.ssh/authorized_keys`中。
- 测试SSH连接是否正常。
#### 三、测试及常见问题处理
1. **Hadoop集群测试**
- 格式化NameNode: `hadoop namenode -format`
- 启动整个集群：运行命令`start-all.sh`.
- 在master, slave1和slave2上执行`jps`, 检查服务进程是否启动。
- 访问`master:50030`(JobTracker) 和 `master:50070`(NameNode), 查看Web界面。
2. **常见问题处理**
- 解决可能出现的错误提示，如权限设置和配置文件修改等。
#### 四、HBase安装
1. **下载与解压**
下载并解压Hbase到同级目录下（通常为`opt`)。
2. **环境变量及站点配置**
- `hbase-env.sh`: 设置Java路径；
- `hbase-site.xml`: 配置存储位置等参数；
- 在`regionservers`文件中指定master和slave节点。
3. **复制HBase配置**
将配置好的HBase目录拷贝到从节点上（例如：Slave1, Slave2）。
4. **启动服务与测试**
运行命令`start-hbase.sh`, 启动HBase服务。
- 使用`jps`检查进程是否正常运行；
- 通过执行 `hbase shell`进行基本的测试操作。
#### 五、总结
此次实验让学习者掌握了从安装到配置，再到测试和问题解决的一系列流程，涵盖了搭建环境、设置Hadoop与HBase服务以及集群监测等重要步骤。这些技能对于理解大数据处理技术至关重要，并为以后的学习提供了坚实的基础。
5星
