本书提供了关于如何使用Java语言编写Hadoop、Hive以及MapReduce相关程序的实际示例,帮助读者深入理解这三个关键技术框架的工作原理与应用场景。
基于Hadoop的Hive数据仓库Java API简单调用实例介绍如下:
本段落主要关注的是使用JDBC接口来操作Hive数据库的方法。
1. **安装步骤**:
- 参考相关文档进行hive的安装,测试时只需在一个节点上完成即可。
- 准备测试文件data(字段以\t分隔):包含三行数据分别表示用户ID和姓名如1 zhangsan, 2 lisi,3 wangwu
- 将该文件上传至Linux系统的指定目录下,例如: /home/hadoop01/data
2. **JDBC接口开发**:
在使用 JDBC 开发 Hive 程序时, 首先需要开启Hive的远程服务。执行如下命令启动:
`hive --service hiveserver >/dev/null 2>/dev/null &`
这将允许你通过Java代码连接到Hive并运行SQL语句。
在使用Client模式操作前,需确保已正确配置了与Hive Server节点的链接信息,并且该服务器上已经启动了相应的服务。对于WUI方式,则可以通过浏览器直接访问。
本段落重点在于讲解如何利用JDBC驱动来通过Java代码连接到Hiveserver并执行数据库查询等任务。在0.11.0版本之前,仅提供有hiveServer选项,在此之上你需要先打开该服务才能操作Hive。
例如:
```
[wyp@localhost /home/q/hive-0.11.0]$ bin/hive --service hiveserver -p 10002
Starting Hive Thrift Server...
```
这表示在端口为10002(默认是10000)启动了Hiveserver服务,之后可以通过Java代码连接并操作数据库。