Big Whale: 离线任务调度与实时任务监控（基于Spark、Flink等）
5星
- 浏览量: 0
- 大小:None
- 文件类型：None
简介：
Big Whale是一款集成了离线任务调度和实时任务监控功能的大数据平台工具，支持Spark、Flink等多种计算引擎。
Big Whale巨鲸任务调度平台是美柚大数据研发的一款分布式计算任务调度系统，支持Spark、Flink等多种批处理任务的DAG调度以及流处理任务的运行管理和状态监控，并具备Yarn应用管理、重复应用检测及大内存应用检测等功能。该服务采用Spring Boot 2.0开发框架构建，在打包后即可直接部署使用。
概述如下：
1. 架构图
2. 特性
- 基于SSH脚本执行机制，便于快速部署。
- 利用Yarn Rest Api实现任务状态同步，兼容所有版本的Spark和Flink。
- 提供分布式环境下的失败重试功能。
- 支持任务依赖管理与复杂任务编排（DAG）配置。
- 实现了流处理作业运行监控及管理系统。
部署步骤：
1. 准备Java 1.8及以上版本，MySQL数据库5.1或更高版；
2. 下载项目源码或者通过git命令克隆代码库；
3. 配置hosts文件以解决github上README.md文档中的图片加载问题（此项操作视具体需求而定）。
4. 完成创建与安装。
全部评论 (0)
还没有任何评论哟~
