Hive SQL左连接数据缺失问题
5星
- 浏览量: 0
- 大小:None
- 文件类型：DOC
简介：
本文章详细探讨了在使用Hive SQL进行左连接操作时可能出现的数据缺失问题，并提供了可能的原因和解决方案。
### Hive SQL Left Join 数据缺失问题解析
#### 一、问题背景
在大数据处理场景中，Hive 是一种广泛使用的工具，用于对存储在 Hadoop 文件系统中的数据进行数据汇总、查询和分析。随着Hive版本的不断更新，部分用户在升级至Hive 3之后遇到了数据处理中的一个常见问题——在执行Left Join操作时出现数据缺失。
#### 二、问题复现
问题发生在如下的SQL语句中：
```sql
SELECT a.*
FROM (
SELECT n.*
FROM dw.dwm_exhibition_base n
INNER JOIN (
SELECT database_name, MAX(dt) AS dt
FROM dw.dwm_exhibition_base
WHERE database_name = fair
GROUP BY database_name
) m ON n.database_name = m.database_name AND n.dt = m.dt
WHERE n.exh_name = 亚太洁净技术与设备展览会
) a
LEFT JOIN (
SELECT database_name, exh_id, exh_name, actor_exh_time, CONCAT(exh_id, _, database_name, _, exh_name, _, actor_exh_time) AS exh_id_new, COUNT(*) AS actor_cnt
FROM (
SELECT database_name, exh_id, exh_name, SUBSTR(actor_exh_time, 0, 10) AS actor_exh_time, actor_id, actor_name
FROM dw.dwd_actor_exhibition
WHERE exh_id IS NOT NULL
AND exh_name IS NOT NULL
AND actor_exh_time IS NOT NULL
--AND exh_name = 亚太洁净技术与设备展览会
GROUP BY database_name, exh_id, exh_name, SUBSTR(actor_exh_time, 0, 10), actor_id, actor_name
) t
GROUP BY database_name, exh_id, exh_name, actor_exh_time, CONCAT(exh_id, _, database_name, _, exh_name, _, actor_exh_time)
) t2 ON a.exh_id = t2.exh_id_new
WHERE t2.actor_cnt > 0
```
#### 三、问题分析
问题的核心在于Hive 2 和 Hive 3 版本之间对于JOIN操作的实现方式存在差异。具体来说，这是由于不同版本的Hive在JOIN操作时采用了不同的Hash算法导致的。
1. **Hive 2 vs Hive 3 的Hash算法差异**：
- 在Hive 2中，JOIN操作采用了一种特定的Hash算法来确保相同的数据能够正确地关联在一起。
- 升级到 Hive 3 后，新的版本改变了Hash算法，这导致在相同的JOIN操作中，原本应该被正确关联的数据因为Hash值的不同而未能成功匹配。
2. **Bucketing Version的影响**：
- Bucketing Version 是Hive表的一个属性，用于控制如何对数据进行分区和分桶。
- Hive 3 默认的bucketing_version为2，而旧版Hive的bucketing_version为1。
- 这个属性的变化直接影响了数据的分桶方式，从而影响了JOIN操作的Hash算法选择。
3. **TEZ引擎的问题**：
- 使用TEZ引擎执行Join操作时，可能会遇到数据丢失的情况。这是因为TEZ引擎在转换多个MapJoin为单个操作时，可能会限制输入数据的最大大小，从而导致数据的丢失。
#### 四、解决方案
针对上述问题，可以通过以下几种方式进行解决：
1. **调整bucketing_version**：
- 通过查询当前表的bucketing_version属性，并将其调整为与旧版本一致的设置（例如设置为1）。
- 查询示例SQL如下：
```sql
SELECT c.NAME AS DB_NAME, a.TBL_NAME, b.PARAM_KEY, b.PARAM_VALUE
FROM TBLS a
LEFT JOIN TABLE_PARAMS b ON a.TBL_ID = b.TBL_ID AND b.PARAM_KEY = bucketing_version
LEFT JOIN DBS c ON a.DB_ID = c.DB_ID
WHERE b.TBL_ID IS NULL AND c.NAME = dw;
```
2. **优化TEZ参数配置**：
- 调整TEZ引擎的相关参数，比如增大允许的输入数据大小等，以避免数据丢失的问题。
- 可以通过设置tez.mapjoin.thresholdsize-mb等参数来实现。
3. **使用兼容模式**：
- 如果可能的话，可以尝试在Hive 3中启用兼容模式，使得其行为更加接近Hive 2的行为，从而减少因版本升级带来的兼容性问题。
全部评论 (0)
