本课程为南京邮电大学大数据系列实验课程之一,专注于数据存储技术和管理策略的教学与实践,旨在培养学生在大数据环境下的操作和分析能力。
### 南邮大数据存储与管理实验三:HBase的安装
#### 实验目的与要求
本次实验的主要目标是让学生掌握HBase的安装与配置过程,并学会如何验证HBase是否正确安装并运行。具体要求包括:
1. **环境准备**:确保Hadoop集群已正确安装并且可以正常启动。
2. **安装配置启动HBase**:按照步骤完成HBase的安装与配置,并成功启动服务。
3. **验证安装**:通过HBase Shell或API连接到HBase,进行创建表、插入数据等操作,确保数据能够正确存储。
#### 实验环境
- **硬件**:微型计算机
- **软件**:Ubuntu 16.04操作系统、Linux操作系统、Hadoop集群、HBase
#### 实验原理及内容详解
##### 1. Hadoop 集群的启动
为了确保HBase能够正常运行,需要先确认Hadoop集群已经正确安装并且可以正常使用。
- **启动Hadoop集群**:
- 使用`start-dfs.sh`脚本启动HDFS服务。
- 执行`start-yarn.sh`命令来启动YARN服务。
- **验证集群是否成功启动**:
- 访问HDFS的Web界面,通常URL为`http::50070`以检查状态。
- 同样地,访问YARN的Web界面(通常是`http::8088`)来确认服务运行情况。
##### 2. 安装配置启动HBase
- **解压安装包至指定路径**:
- 使用命令 `sudo tar -zxf ~下载hbase-1.1.2-bin.tar.gz -C /usr/local`,将HBase的安装包解压到 `/usr/local`目录下。
- 将文件夹名称由 `hbase-1.1.2` 重命名为 `hbase` ,命令为:`sudo mv /usr/local/hbase-1.1.2 /usr/local/hbase`
- **查看HBase版本**:
- 使用命令 `/usr/local/hbase/bin/hbase version` 确认安装成功并显示其版本信息。
- **启动HBase服务**:
- 首先确保Hadoop集群已启动。
- 切换到 `/usr/local/hbase` 目录下,然后使用 `sudo bin/start-hbase.sh` 启动HBase。
##### 3. 验证安装
- **创建表**:
- 在HBase Shell中执行命令:`create student,Sname,Ssex,Sage,Sdept,course` 来创建一个名为 `student` 的表,包含多个列族。
- **查看表信息**:
- 使用命令 `describe student` 查看新创建的 `student` 表的详细信息。
- **添加数据**:
- 执行命令:`put student,95001,Sname:,LiYing` 向学生表中插入一行数据。
#### 实验小结
- **遇到的问题及解决方法**:
- 使用HBase Shell时,出现错误提示:“ERROR: KeeperErrorCode = NoNode for hbasemaster”,这表示Master进程未启动。
- 解决方案:使用命令 `.bin/hbase-daemon.sh start regionserver` 启动Master进程。
- **心得体会**:
- 通过本次实验深入了解了HBase作为NoSQL数据库在大数据存储方面的优势,包括高可用性、扩展性和高性能等特点。
- 掌握了HBase的基本安装配置流程及Shell命令操作和Java API的使用方法,为将来从事大数据领域的工作打下了坚实的基础。
- 实验过程中遇到的问题及其解决过程进一步提高了问题分析与处理的能力。
#### 毕业要求指标点
- **3-2-M**:根据用户需求选择合适的研究方法和技术手段确定复杂工程问题的解决方案
- **3-3-H**:综合运用专业知识优化方案,体现创新意识,并考虑健康、安全及环境等因素。
- **7-2-M**:正确评估计算机及相关领域复杂工程实施对环境保护和社会可持续发展的影响,评价产品生命周期中可能造成的损害和隐患。
通过本次实验不仅提升了个人的技术能力,也为满足上述毕业要求指标点做出了贡献。