
数栖离线开发v4.11.0 用户手册.pdf
5星
- 浏览量: 0
- 大小:None
- 文件类型:PDF
简介:
《数栖离线开发v4.11.0 用户手册》提供了详尽的操作指南和示例,帮助用户掌握数栖离线开发工具的最新版本(V4.11.0)的各项功能。
### 59-数栖-离线开发v4.11.0用户手册知识点概览
#### 一、产品介绍
##### 1. 产品概述
- **一站式离线开发集成环境**:数栖离线开发平台为用户提供了一个集中的数据同步、数据开发、发布管理和运维监控解决方案。
- **支持主流大数据计算引擎**:该平台能够兼容Hadoop等流行的大数据处理框架,并具备快速扩展的能力,使用户可以根据需要灵活配置和使用。
- **PB级数据仓库构建**:通过数栖离线开发平台,用户可以轻松地建立大规模的数据仓库并深入挖掘其中蕴含的价值信息,实现高效的数据资产化管理。
##### 2. 产品架构
- **开箱即用**:无需关注底层集群的搭建和运维工作,只需专注于业务需求即可。
- **提升数据研发效率**:提供规范化的数据分层模型、加工流程以及服务规则等支持,从而大幅降低大数据应用开发的时间成本及人力资源投入。
- **简化技术要求**:通过简单的脚本语言(如SQL、Python)封装复杂的技术细节,并提供了易于使用的界面,降低了对底层技术的依赖程度。
- **保障数据安全**:用户可以选择将敏感的数据存储在自建机房中避免传输到外部环境;平台还支持资源隔离和权限控制机制来进一步提高安全性。
#### 二、产品价值
- **安全保障**:采用租户隔离及权限管理等多种措施确保用户数据的安全性。
- **多源数据同步能力**:能够从多种来源(如MySQL、Oracle或Hive等)中获取并整合各类数据至数据中心内。
- **一站式开发体验**:通过离线方式完成整个数据的创建、调试、部署与监控流程,提供可视化的工作流界面以方便管理和操作。
#### 三、产品优势
- **强大的多人协作功能**:支持多名开发者同时进行项目开发和管理,并明确区分各类权限边界来提高工作效率。
- **稳定高效的调度机制**:用户可以自定义数据处理逻辑并设置定时作业;平台还提供自动重试及基线保障等特性确保任务按时高质量完成。
- **资源隔离与权限控制技术**:通过租户级别的资源分配和细粒度的访问控制来实现更高级别的安全性保护。
#### 四、名词解释
- **项目(Project)**:一组作业、环境及函数集合。建议在同一租户下为不同的业务需求创建独立的项目。
- **环境(Environment)**:在一个特定项目中,可以建立多个开发环境(如测试和生产)以支持不同阶段的数据处理工作;每个环境拥有独特的Hive数据库配置与Yarn调度队列等资源。
- **工作流(Flow)**:一系列相互依赖的任务集合构成一个业务流程图(DAG),用于实现复杂的任务序列化执行逻辑。
- **作业(Job)**:平台的最小运行单元,支持Shell脚本、Hive查询、Spark批处理等多种类型。作业可以分为离线和临时两种模式。
- **资源文件(Resource File)**:用户上传至系统的各种辅助性数据或代码(如JAR包、文本段落件等),用于在开发过程中被引用调用。
- **函数(Function)**:指代Hive、Spark或Presto系统内定义的各类计算单元,平台允许创建基于特定数据库引擎的自定义函数(UDF)。
#### 五、快速入门与用户指南
- **准备工作**:包括注册登录账户、准备必要的资源和数据等。
- **项目管理**:涵盖新建项目、添加环境及配置映射关系的操作指导。
- **数据集成操作**:介绍如何创建新的资源对象,导入表结构信息以及执行初步的数据加工任务等内容。
- **开发中心功能**:详细描述工作流的创建过程、属性设置选项以及其他相关维护活动(如删除或移动作业)等步骤说明。
- **离线作业管理**:具体讲解新建和复制作业的方法,并提供关于重命名、删除及提交状态查询等方面的指导信息。
- **数据同步操作**:涉及非结构化文件上传、函数开发以及表的日常维护工作等内容。
- **发布管理系统介绍**:展示创建部署包,审核流程与版本控制等核心功能的操作指南。
- **运维中心界面说明**:概述运行概况查看方式、监控实例状态及故障排查工具使用方法。
#### 六、案例实战
- **案例背景信息**:列出目标步骤规划、预设条件准备以及操作执行顺序等内容。
- **数据开发流程展示**:从原始层ODS到最终应用层ADM的数据处理路径,涵盖各层级的细节说明和最佳实践建议。
- **运行提交过程详解**:包含作业提交机制、发布包创建方法及运维中心的应用场景介绍等环节的具体步骤描述。
- **权限相关知识讲解**:平台内置的角色分配
全部评论 (0)


