Advertisement

Hive-3.1.3在CDH6.3.2上的升级文档

  •  5星
  •     浏览量: 0
  •     大小:None
  •      文件类型：DOC

简介：
本文档详细记录了将Apache Hive从较旧版本升级至3.1.3版的过程和注意事项，专门针对Cloudera Distribution Hadoop (CDH) 6.3.2环境。涵盖了配置更改、依赖项调整及兼容性问题解决方案，帮助用户顺利完成升级以利用新功能并提升系统性能。 ### CDH6.3.2升级Hive至3.1.3版本的详细步骤与注意事项 #### 一、准备工作 **1.1 备份Hive库** 在进行任何重大变更之前，备份现有的Hive元数据是至关重要的一步。这确保了在升级过程中出现问题时能够快速恢复到之前的状态。 ``` mysqldump -uroot -proot hive > .hive.sql ``` 这条命令使用`mysqldump`工具将Hive数据库的内容导出为一个SQL脚本段落件`hive.sql`。这里假设MySQL数据库的用户名为`root`，密码也为`root`。如果你的实际环境中这些值不同，请相应地修改。 **1.2 下载Hive-3.1.3** 为了进行Hive的升级，首先需要下载Hive-3.1.3版本的二进制包。 ``` cd optsoftwarehive wget https://dlcdn.apache.org/hive/hive-3.1.3/apache-hive-3.1.3-bin.tar.gz tar -zxvf apache-hive-3.1.3-bin.tar.gz ``` 这些命令分别用于进入指定目录、下载Hive-3.1.3的压缩包，并解压该压缩包。 **1.3 备份Hive目录** 在替换Hive相关的文件之前，还需要备份现有的Hive安装目录。这一步是为了防止升级过程中出现意外情况导致原有配置丢失。 ``` cd optclouderaparcelsCDH-6.3.2-1.cdh6.3.2.p0.1605554lib cp -r hive hive.212.bak ``` 这些命令用于切换到Cloudera的CDH lib目录下，并复制`hive`目录到`hive.212.bak`作为备份。 #### 二、替换Hive相关文件 **2.1 替换Hive相关Jar包** 在升级Hive的过程中，需要替换原有的JAR包为新版本的JAR包。这一步骤对于确保新版本的Hive能够正常工作至关重要。 ``` cd hivelib rm -rf hive-*.jar cp optsoftwarehiveapache-hive-3.1.3-binlibhive-* . ``` 这些命令用于删除旧版本的所有`hive-*.jar`文件，并将Hive-3.1.3中的所有`hive-*`文件复制到`lib`目录下。 **2.2 替换执行文件** 除了替换JAR包外，还需要替换执行文件，以确保Hive服务能够正确启动并运行新版本的Hive。 ``` cd optclouderaparcelsCDH-6.3.2-1.cdh6.3.2.p0.1605554libhivebin cp optsoftwarehiveapache-hive-3.1.3-binbin* . ``` 这些命令用于将新版本Hive的执行文件复制到Hive的服务目录下。 #### 三、升级数据库 升级Hive版本通常也需要升级Hive元数据存储的数据库。这一步骤通常通过运行一系列升级脚本来完成。 ``` mysql -uroot -p use hive; source upgrade-2.1.0-to-2.2.0.mysql.sql; source upgrade-2.2.0-to-2.3.0.mysql.sql; source upgrade-2.3.0-to-3.0.0.mysql.sql; source upgrade-3.0.0-to-3.1.0.mysql.sql; ``` 这些命令用于登录MySQL数据库，选择Hive数据库，并依次运行升级脚本。升级脚本包含了必要的DDL语句来更新数据库结构，以适应新版本Hive的要求。 #### 四、重启Hive服务 最后一步是在完成所有升级步骤后重启Hive服务，以便让新的配置生效。 ``` service cloudera-scm-agent restart ``` 这条命令用于重启Cloudera Manager Agent服务，确保Hive服务能够在升级后正常启动和运行。

全部评论 (0)

还没有任何评论哟~
客服
客服
客服关闭
  • Hive-3.1.3在CDH6.3.2上的升级文档
    优质
    本文档详细记录了将Apache Hive从较旧版本升级至3.1.3版的过程和注意事项，专门针对Cloudera Distribution Hadoop (CDH) 6.3.2环境。涵盖了配置更改、依赖项调整及兼容性问题解决方案，帮助用户顺利完成升级以利用新功能并提升系统性能。 ### CDH6.3.2升级Hive至3.1.3版本的详细步骤与注意事项 #### 一、准备工作 **1.1 备份Hive库** 在进行任何重大变更之前，备份现有的Hive元数据是至关重要的一步。这确保了在升级过程中出现问题时能够快速恢复到之前的状态。 ``` mysqldump -uroot -proot hive > .hive.sql ``` 这条命令使用`mysqldump`工具将Hive数据库的内容导出为一个SQL脚本段落件`hive.sql`。这里假设MySQL数据库的用户名为`root`，密码也为`root`。如果你的实际环境中这些值不同，请相应地修改。 **1.2 下载Hive-3.1.3** 为了进行Hive的升级，首先需要下载Hive-3.1.3版本的二进制包。 ``` cd optsoftwarehive wget https://dlcdn.apache.org/hive/hive-3.1.3/apache-hive-3.1.3-bin.tar.gz tar -zxvf apache-hive-3.1.3-bin.tar.gz ``` 这些命令分别用于进入指定目录、下载Hive-3.1.3的压缩包，并解压该压缩包。 **1.3 备份Hive目录** 在替换Hive相关的文件之前，还需要备份现有的Hive安装目录。这一步是为了防止升级过程中出现意外情况导致原有配置丢失。 ``` cd optclouderaparcelsCDH-6.3.2-1.cdh6.3.2.p0.1605554lib cp -r hive hive.212.bak ``` 这些命令用于切换到Cloudera的CDH lib目录下，并复制`hive`目录到`hive.212.bak`作为备份。 #### 二、替换Hive相关文件 **2.1 替换Hive相关Jar包** 在升级Hive的过程中，需要替换原有的JAR包为新版本的JAR包。这一步骤对于确保新版本的Hive能够正常工作至关重要。 ``` cd hivelib rm -rf hive-*.jar cp optsoftwarehiveapache-hive-3.1.3-binlibhive-* . ``` 这些命令用于删除旧版本的所有`hive-*.jar`文件，并将Hive-3.1.3中的所有`hive-*`文件复制到`lib`目录下。 **2.2 替换执行文件** 除了替换JAR包外，还需要替换执行文件，以确保Hive服务能够正确启动并运行新版本的Hive。 ``` cd optclouderaparcelsCDH-6.3.2-1.cdh6.3.2.p0.1605554libhivebin cp optsoftwarehiveapache-hive-3.1.3-binbin* . ``` 这些命令用于将新版本Hive的执行文件复制到Hive的服务目录下。 #### 三、升级数据库 升级Hive版本通常也需要升级Hive元数据存储的数据库。这一步骤通常通过运行一系列升级脚本来完成。 ``` mysql -uroot -p use hive; source upgrade-2.1.0-to-2.2.0.mysql.sql; source upgrade-2.2.0-to-2.3.0.mysql.sql; source upgrade-2.3.0-to-3.0.0.mysql.sql; source upgrade-3.0.0-to-3.1.0.mysql.sql; ``` 这些命令用于登录MySQL数据库，选择Hive数据库，并依次运行升级脚本。升级脚本包含了必要的DDL语句来更新数据库结构，以适应新版本Hive的要求。 #### 四、重启Hive服务 最后一步是在完成所有升级步骤后重启Hive服务，以便让新的配置生效。 ``` service cloudera-scm-agent restart ``` 这条命令用于重启Cloudera Manager Agent服务，确保Hive服务能够在升级后正常启动和运行。
     
  • Apache Hive 3.1.3 Bin Tar Gz
    优质
    Apache Hive 3.1.3 Bin Tar Gz是一款开源的数据仓库工具，以Hadoop文件系统为基础，提供类似SQL的查询语言（HiveQL）来对存储在Hadoop中的大型数据集进行汇总、查询和分析。 感谢这位大佬提供的源码包，并在此基础上解决了部分报错及缺失的jar包问题。在这一过程中，我还参考了另一位博主的文章来学习相关知识。 最终成功打包了基于apache-hive-3.1.3-src编译后的文件夹。
     
  • hive-jdbc-2.1.1-cdh6.3.2独立版.jar
    优质
    简介：此jar文件为Hive JDBC驱动程序版本2.1.1，适用于CDH 6.3.2集群环境，支持独立部署，便于开发者进行数据查询与管理。 Hive连接驱动主要用于在编程环境中与Hive数据库进行交互。通过使用特定的JDBC或ODBC驱动程序，开发者可以编写代码来执行SQL查询、管理数据表以及处理其他相关任务。这些工具使得非本地环境下的数据分析变得更为便捷和高效。
     
  • OTA升级文档
    优质
    OTA（Over-The-Air）升级文档提供了设备或软件无线更新的全面指南，包括准备工作、操作步骤和常见问题解答等内容。 Amlogic MX OTA升级服务器搭建及配置说明文档：如何配置Tomcat服务器以支持OTA升级功能。
     
  • Hive基础查询文档上传
    优质
    本文档提供了关于Apache Hive的基础查询指南，涵盖了数据插入、选择和删除等操作方法，适用于初学者快速上手使用Hive进行大数据处理。 ### Hive基础查询知识点详解 #### 一、Hive概述与基本操作 - **Hive简介**：Apache Hive 是一个建立在 Hadoop 上的数据仓库工具，主要用于对存储在 Hadoop 文件系统中的各种数据集进行数据整理、特殊查询和分析存储。Hive 给用户提供了类SQL的查询语言“HiveQL”，使不熟悉MapReduce的用户可以方便地利用Hive处理数据。 - **Hive基本操作**： - **创建数据库**：`CREATE DATABASE db_name;` - **使用数据库**：`USE db_name;` - **查看当前使用的数据库**：`SHOW DATABASES;` - **查看表**：`SHOW TABLES;` #### 二、数据表的创建与管理 - **创建数据表**：在Hive中，可以通过以下命令创建数据表： ```sql CREATE TABLE IF NOT EXISTS table_name ( column_name_1 data_type comment column_comment, column_name_2 data_type comment column_comment, ... ) ROW FORMAT DELIMITED FIELDS TERMINATED BY delimiter STORED AS textfile; ``` 其中，`IF NOT EXISTS`表示如果表不存在则创建；`ROW FORMAT DELIMITED FIELDS TERMINATED BY delimiter`定义了字段分隔符；`STORED AS textfile`指定了存储格式为文本段落件。 - **示例**：根据给定的部分内容，创建了四个数据表：student_info、course_info、teacher_info和score_info。 ```sql -- 创建学生表 DROP TABLE IF EXISTS student_info; CREATE TABLE IF NOT EXISTS student_info( stu_id STRING COMMENT 学生 id, stu_name STRING COMMENT 学生姓名, birthday STRING COMMENT 出生日期, sex STRING COMMENT 性别 ) ROW FORMAT DELIMITED FIELDS TERMINATED BY , STORED AS TEXTFILE; -- 创建课程表 DROP TABLE IF EXISTS course_info; CREATE TABLE IF NOT EXISTS course_info( course_id STRING COMMENT 课程 id, course_name STRING COMMENT 课程名, tea_id STRING COMMENT 任课老师 id ) ROW FORMAT DELIMITED FIELDS TERMINATED BY , STORED AS TEXTFILE; -- 创建老师表 DROP TABLE IF EXISTS teacher_info; CREATE TABLE IF NOT EXISTS teacher_info( tea_id STRING COMMENT 老师 id, tea_name STRING COMMENT 老师姓名 ) ROW FORMAT DELIMITED FIELDS TERMINATED BY , STORED AS TEXTFILE; -- 创建分数表 DROP TABLE IF EXISTS score_info; CREATE TABLE IF NOT EXISTS score_info( stu_id STRING COMMENT 学生 id, course_id STRING COMMENT 课程 id, score INT COMMENT 成绩 ) ROW FORMAT DELIMITED FIELDS TERMINATED BY , STORED AS TEXTFILE; ``` #### 五、数据加载 - **数据文件准备**：在Linux环境下创建指定目录并上传数据文件。 ```bash mkdir data vim student_info.txt vim course_info.txt vim teacher_info.txt vim score_info.txt ``` - **加载数据到表中**：使用`LOAD DATA LOCAL INPATH`命令将本地文件加载到Hive表中。 ```sql LOAD DATA LOCAL INPATH optmoduledatastudent_info.txt INTO TABLE student_info; LOAD DATA LOCAL INPATH optmoduledatacourse_info.txt INTO TABLE course_info; LOAD DATA LOCAL INPATH optmoduledatateacher_info.txt INTO TABLE teacher_info; LOAD DATA LOCAL INPATH optmoduledatascore_info.txt INTO TABLE score_info; ``` #### 六、基础查询案例 - **案例1：查询所有学生的姓名和成绩**： ```sql SELECT s.stu_name, sc.score FROM student_info s JOIN score_info sc ON s.stu_id = sc.stu_id; ``` - **案例2：查询所有学生的姓名、课程名称和成绩**： ```sql SELECT s.stu_name, c.course_name, sc.score FROM student_info s JOIN score_info sc ON s.stu_id = sc.stu_id JOIN course_info c ON sc.course_id = c.course_id; ``` - **案例3：查询每个学生的总成绩**： ```sql SELECT s.stu_name, SUM(sc.score) as total_score FROM student_info s JOIN score_info sc ON s.stu_id = sc.stu_id GROUP BY s.stu_name; ``` - **案例4：查询成绩最高的学生及其成绩**： ```sql SELECT s.stu_name, MAX(sc.score) as highest_score FROM student_info s JOIN score_info sc ON s.stu_id = sc.stu_id GROUP BY s.stu_name; ``` #### 七、进阶技巧 - **多表关联**：在实际应用中，通常需要连接多个表来获取所需的信息。例如，在上述案例2中我们通过连接三个表（学生表、课程表和分数表）来获取学生的
     
  • STM32在线升级IAP功能-完整软件包_IAP上位机_IAP升级_STM32在线升级_STM32升级
    优质
    本资源提供完整的STM32在线升级（IAP）解决方案，包括IAP固件及上位机程序。适用于实现远程、高效且安全的STM32芯片软件更新。 iap下载和跳转功能一应俱全，并且支持与上位机的全套操作。你需要的功能这里都有。
     
  • VSphere ESXi升级文档.docx
    优质
    本文档详细记录了VMware vSphere ESXi的升级步骤和注意事项，旨在帮助管理员顺利完成系统更新，确保虚拟化环境稳定运行。 ESXi主机的升级主要有四种方式：通过vSphere Client进行在线升级、使用VIB（可安装模块）手动更新、利用P2V（物理到虚拟）工具迁移以及直接在命令行界面执行esxcli命令来完成系统更新。每种方法都有其适用场景和操作步骤，可以根据实际需求选择合适的方案来进行ESXi主机的维护与优化。
     
  • [Git] 使用Brew在Mac上升级Git
    优质
    本文将指导您如何使用Homebrew软件包管理器在Mac操作系统中轻松地安装和更新Git版本控制工具。 安装 Homebrew Homebrew 是一个软件包管理器。它的作用就是将软件包安装到自己的目录中，然后将其文件符号链接到 usr/local 下。 确认是否已安装： ``` $ brew --version ``` 如果输出类似以下内容： ``` Homebrew 2.2.5 homebrew-core (git revision db0b; last commit 2020-02-07) ``` 则说明已经安装了，否则可以通过如下步骤进行安装： ``` $ /usr/bin/ruby -e $(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master) ```
     
  • OpenSSL升级步骤指南文档
    优质
    本指南提供详细步骤和建议，帮助用户安全地完成OpenSSL软件的更新，确保系统的安全性与稳定性。 在网上找到了许多关于升级步骤的指南，但经过验证后发现都没有成功。因此我将更新步骤整理并附在附件里。其中包括openssl和zlib安装包的相关内容。