Doris数据备份恢复与节点扩缩容教程

简介：
Doris数据备份恢复与节点扩缩容知识点的系统梳理，可用于培训和学习等场景中。Apache Doris是一个基于MPP架构的高性能、实时性分析型数据库，以其极快的响应时间和易用性著称，在亚秒级查询响应时间内即可处理海量数据下的复杂查询需求。其功能不仅支持高并发点查询场景，还能有效应对高吞吐量的复杂分析任务，从而较好地满足报表分析、即席查询、统一数仓构建以及数据湖联邦查询加速等实际应用场景的需求。在此基础上，用户可基于Apache Doris平台搭建用户行为分析系统、AB测试平台、日志检索分析模块、用户画像分析框架和订单数据分析平台等多个业务应用。 Apache Doris的历史可以追溯至百度广告报表业务的Palo项目，自2017年正式加入开放源代码计划中发布后，于2018年7月由百度捐赠给Apache基金会进行孵化工作。在Apache导师的指导下，经过孵化器项目管理委员会成员的持续运营和发展。目前，Apache Doris已汇聚来自多个行业的数百家企业总计超过400名贡献者，并且在其活跃用户群体中也拥有百余人份的支持者和参与者。2022年6月，Apache Doris成功通过 Apache 孵化器认证，正式成为顶级 Apache 项目成员（Top-Level Projects）。 #### 一、备份与恢复 在数据存储管理中，首先需要完成的是对原始数据的完整备份过程。通过该模块可以实现高效的数据归档流程，并确保在发生故障时能够快速恢复到正常运行状态。 为了保证数据的安全性，建议采取多份拷贝策略进行备份操作。这样不仅可以提高系统容灾能力，还可以有效降低潜在的数据丢失风险。 此外，在日常运营中，必须建立完善的数据监控机制。通过实时跟踪系统运行状况，并及时发现并处理异常情况，可以最大限度地保障业务连续性的稳定性。 进行前期 groundwork工作是确保项目成功的关键步骤。在进行数据备份操作之前，必须确保已正确配置 repository 以存储备份数据。repository 是一个用于存储备份数据的特定位置。请通过 `SHOW (repos)` 命令查看当前系统中已存在的存储库。更多详情参考官方文档：[https:doris.apache.orgzh-CNdocssql-manualsql-referenceShow-StatementsSHOW-REPOSITORIES](https:doris.apache.orgzh-CNdocssql-manualsql-referenceShow-StatementsSHOW-REPOSITORIES)由HDFS Broker搭建存储库通过基于 HDFS 的直连链接来建立仓库1.2 备份通过特定的SQL命令进行数据全量备份操作。更多详情参考官方文档：[https:doris.apache.orgzh-CNdocssql-manualsql-referenceData-Definition-StatementsBackup-and-RestoreRESTORE#example](https:doris.apache.orgzh-CNdocssql-manualsql-referenceData-Definition-StatementsBackup-and-RestoreRESTORE#example)；`BACKUP SNAPSHOT dzda_synchro_gddata TO hdfs_repo_test PROPERTIES (type = full);`通过 `SHOW-BACKUP` 查询当前的备份信息 通过执行 `SHOW SNAPSHOT` 语句可获取备份版本的时间戳信息。更多相关操作细节请参考官方文档：[https:doris.apache.orgzh-CNdocssql-manualsql-referenceShow-StatementsSHOW-SNAPSHOT](https:doris.apache.orgzh-CNdocssql-manualsql-referenceShow-StatementsSHOW-SNAPSHOT) 该系统功能模块已成功完成其恢复任务 全面恢复可通过`RESTORE SNAPSHOT`命令实现备份数据的操作。更多信息请参考官方文档：[https:doris.apache.orgzh-CNdocssql-manualsql-referenceData-Definition-StatementsBackup-and-RestoreRESTORE#example](https:doris.apache.orgzh-CNdocssql-manualsql-referenceData-Definition-StatementsBackup-and-RestoreRESTORE#example)。 通过以下SQL语句进行操作： ```sql RESTORE SNAPSHOT dzda_synchro_gddata FROM `hdfs_repo_test` PROPERTIES( backup_timestamp=2018-05-04-16-45-08 ); ``` FE、BE节点数量发生变化FE（前端）与BE（后端）是Doris集群中的两大核心组件。其中，FE主要承担着执行与数据查询相关的操作任务；而BE则负责管理数据存储并进行相关计算工作。##### 2.1 FE 节点数量调整 在新节点上运行FE节点时，请按照以下命令启动FE进程：``` .binstart_fe.sh --helper 192.168.0.103:9010 --daemon ```新增 FE 角色 通过 `ALTER SYSTEM ADD` 语句将新增的 FE 角色指定为观察者或追随着。 ```sql ALTER SYSTEM ADD OBSERVER 192.168.0.103:9010; ALTER SYSTEM ADD FOLLOWER 192.168.0.103:9010; ```采用 `ALTER SYSTEM REMOVE` 命令来取消已有的 FE 角色。具体的 SQL 语句如下：```sql ALTER SYSTEM REMOVE OBSERVER 192.168.0.103:9010; ALTER SYSTEM REMOVE FOLLOWER 192.168.0.103:9010; ``` 获取FE节点相关信息 通过`SHOW PROC`命令获取当前集群中FE节点的相关信息： ```sql SHOW PROC frontends; ``` ##### 2.2 BE 节点的增减情况BE节点主要用于完成存储和计算任务。通过增减BE节点，可以增强集群的存储与计算性能。在新建的节点中开始运行 BE 节点，按照以下步骤进行操作：执行命令 $ binstart_be.sh --daemon。新增的 BE 结构将在新节点上启动的 BE 处理程序开始运行时自动融入集群中。该结构将自动融入集群中。 对需要移除的 BE 结构进行处理：首先将该节点上的数据迁移到其他 BE 节点上；然后，完成上述步骤后，BE 过程便可以终止。获取节点的 backend 信息。通过调用 SHOW PROC 命令来获取节点的 backend 信息。```sql SHOW PROC backends; ``` 下面是对本次会议的主要归纳：通过这次活动，我们得出了以下几点关键结论。本文档全面阐述了Apache Doris的数据备份还原过程及相关节点增删的具体操作流程。该功能不仅有助于用户有效保障数据安全，还能迅速实现数据还原。针对具体业务场景的需求，系统提供了灵活的节点增删功能。这些操作能够帮助用户动态调节计算资源，从而更高效地处理多样化的工作负载。在日常运维工作中发挥着基础性作用，并且是构建可靠稳定的分析型数据库系统的重要基石。通过系统的理论学习与实际操作练习，参与者不仅能够加深对Apache Doris核心功能的理解，还能全面掌握其高级应用技巧。