Common-DataX：利用DataX实现的通用数据同步微服务，通过一个RESTful接口完成所有常用数据同步任务
5星
- 浏览量: 0
- 大小:None
- 文件类型：ZIP
简介：
Common-DataX是一款基于DataX开发的数据同步微服务工具，提供统一RESTful接口支持各类常用数据源之间的高效、灵活和安全的数据迁移与整合。
该项目已不再维护，请参考更新后的项目datax-admin以及common-datax。
基于阿里DataX开发了一个通用的数据同步微服务，可以创建前台页面，并根据reader和writer自动进行数据同步。本项目适用于数据量较少的情况使用；若数据源较多，则请参照下面的设计思路：
由于阿里DataX存在以下缺点：
- 不够自动化
- 需要手写json文件
- 手动运行job
为了节省时间，该项目提供了以下功能：
- 提供通用的数据抽取RESTful接口；
- HDFS自动创建数据库、表及分区；
- 利用FreeMarker模板自动生成JSON文件；
- 自动执行Python脚本运行Job；
- 集成Azkaban进行调度管理。
例如：从MySQL同步到Hive，可以选择需要同步的MySQL表和字段信息，并输入导入至Hive的目标库、表及分区等信息。无需提前在Hive中创建数据库、表或分区；系统会根据要导出的MySQL表及其字段类型自动创建相应的Hive库、表及分区，然后执行数据迁移任务。
全部评论 (0)
还没有任何评论哟~
