数栖实时开发v1.4.0用户手册.pdf

简介：
本手册为《数栖实时开发v1.4.0用户手册》，详细介绍了软件的各项功能、操作指南及配置方法，旨在帮助用户快速掌握使用技巧。 ### 数栖实时开发v1.4.0用户手册 #### 产品介绍 ##### 产品概述 数栖实时开发是一款由数澜科技提供的高效、高吞吐量且低延迟的分布式流数据分析工具，采用全托管模式让用户无需深入了解底层计算集群架构原理。它支持通过直观的图形界面快速搭建实时计算任务，并具备SQL编程基础即可轻松运行作业。 该工具是实现数据资产化的关键组件之一，有助于企业及时处理原始数据并进行实时分析计算，最终将结果存储于如Oracle、Elasticsearch或HBase等数据库中以供后续查询和利用。由于实时数据的价值随时间衰减，提高其处理的即时性变得尤为重要。 数栖实时开发包含三个核心模块： 1. **项目管理**：负责项目的创建、编辑及删除操作，并支持成员管理。 2. **开发中心**：为开发者提供作业开发、调试与运行环境，还具备函数和资源文件管理功能以促进团队协作。 3. **运维监控**：监测作业状态及其执行时间等关键指标，同时记录日志并提供告警历史等功能。 ##### 产品架构图 数栖实时开发采用分布式计算框架支持大规模集群部署及动态资源配置。当作业需求变化时，系统自动调整资源以优化利用率和降低成本。 该工具的显著特点包括： - **简单易用**：用户可在线编写SQL代码定义数据处理流程，并通过简单的输入输出节点配置实现业务逻辑。 - **UDFJAR支持**：除了内置函数外还允许自定义Java作业，满足复杂需求。 - **多引擎兼容性**：支持基于Apache Flink或Structured Streaming等技术栈的实时计算开发。 - **高吞吐低延迟**：采用成熟的开源流处理框架保证高效的数据处理能力。 - **安全隔离**：通过多租户机制确保各用户作业的安全运行，保障数据保护。 #### 名词解释 - **项目(Project)**：一组包含作业、资源和函数的集合。建议根据不同业务场景创建独立项目。 - **作业(Job)**：平台最小运行单元，支持Structured Streaming、Flink等多种类型实时计算任务。 #### 用户指南 ##### 项目管理 - **新建项目**：创建新项目并指定名称及描述等基本信息。 - **编辑项目**：修改现有项目的名称和描述信息。 - **删除项目**：移除不再需要的项目。 - **初始化配置**：设置初始资源分配和默认权限等。 - **查看详情**：获取有关项目的完整信息及其各项设置。 ##### 开发中心 - **实时计算** - **Structured Streaming作业**：利用Apache Spark流处理框架实现高效数据流管理。 - **Structured Streaming SQL作业**：通过SQL语句简化流数据分析流程。 - **Flink作业**：使用Apache Flink进行实时数据流处理。 - **Flink SQL作业**：采用SQL定义Flink的流处理逻辑。 - **函数开发**： 支持自定义Spark和Flink函数以满足特定需求。 ##### 运维监控 - **作业监控**：跟踪运行状态及性能指标等信息。 - **状态统计**：汇总展示各个作业的状态统计数据。 - **告警记录**：记录并处理异常情况及其策略。 - **告警管理**：设置通知规则，指定接收消息的人员或团队。 #### 案例实战 案例一： - **背景介绍** - **业务流程描述** - **实时开发项目配置** - **数据验证** 案例二： - **背景说明** - **详细业务处理过程** - **使用数栖工具完成任务的具体步骤** - 数据源配置（包括Hive和Kafka等） - 多个SQL节点的数据清洗、聚合计算 - 配置Kafka输出结果 #### 开发指南 详述如何利用Groovy语言开发自定义函数，以及Flink SQL快速建表与处理嵌套JSON数据的语法示例。 #### 权限说明 详细描述项目管理员、开发者和运维人员等不同角色的权限分配情况。