DolphinScheduler任务调度系统——其他分类
5星
- 浏览量: 0
- 大小:None
- 文件类型：ZIP
简介：
DolphinScheduler是一款功能强大的分布式工作流任务调度平台，适用于企业级数据处理和业务流程自动化。它支持复杂的依赖关系、丰富的插件机制及灵活的任务管理界面，帮助企业高效运行各类批处理作业，提升运营效率与服务质量。
Apache DolphinScheduler（原名EasyScheduler）是一个大数据分布式工作流任务调度系统，旨在解决在大数据开发过程中ETL处理复杂的依赖关系，并且不能实时监控任务健康状态的问题。DolphinScheduler采用DAG图的方式将Task组织起来，能够实时监控任务运行状况，并支持重试、从指定节点恢复失败的任务、暂停及终止操作等功能。
该系统的特性包括：
1. 以分布式和易扩展的可视化方式呈现DAG工作流。
2. 支持多种类型的任务：Shell脚本、MR（MapReduce）、Spark作业、SQL（MySQL, PostgreSQL, Hive, Spark SQL），Python脚本，子进程等。
3. 提供定时调度、依赖关系触发调度、手动启动/停止任务以及失败重试和告警功能。还支持从指定节点恢复故障及终止运行的任务等功能。
4. 支持为工作流设置优先级，并可以处理任务的故障转移及超时告警等问题。
5. 允许设定全局参数与特定节点上的自定义参数。
6. 提供资源文件上传、下载和管理功能，包括在线创建和编辑等操作。
7. 使用户能够在线查看并滚动日志以及下载日志内容。
8. 实现了集群的高可用性配置，通过Zookeeper实现主从服务器与工作节点之间的去中心化架构。
9. 可以实时监控MasterWorker CPU负载、内存使用情况和CPU状态等信息。
10. 提供甘特图展示历史运行数据，并支持任务及流程的状态统计功能。
11. 支持补数操作，确保数据完整性。
12. 实现多租户环境下的资源隔离与管理机制。
13. 系统具备国际化语言的支持能力。
此外，DolphinScheduler还有许多其他特性等待开发者们进一步探索。
全部评论 (0)
