Flink-Spark-Submiter：从本地IDEA向Yarn或Kubernetes集群提交Flink和Spark任务

简介：
Flink-Spark-Submiter是一款工具，旨在简化用户从本地IDE环境中将Flink及Spark作业部署至基于Yarn或Kubernetes的分布式计算平台的过程。 当提交Flink任务或Spark任务到集群时，通常需要将可执行的Jar包上传至集群，并手动执行任务提交指令；如果有配套的大数据平台，则需通过该平台上传Jar包，由调度系统进行任务提交。对于开发者而言，在本地IDEA中调试Flink和Spark任务不会遇到对象序列化及反序列化的相关问题，但当这些任务在分布式环境下运行时可能会出错。将任务直接提交到集群以供调试则会涉及繁琐的流程，严重影响开发效率。 因此，为了便于大数据开发人员能够快速进行开发与调试工作，我们创建了一款从本地IDEA中直接向Flink或Spark集群提交任务的工具类。稍作调整的任务提交代码便可以集成至上层调度系统，替代传统的脚本模式来进行任务提交。该工具支持在Flink的不同运行模式下（如yarnPerJob、Standalone和yarnSession）进行任务提交，并且能够以YARN Cluster模式将Spark作业提交至集群中运行；同时具备自动上传用户Jar包的功能，而依赖的Spark Jars需提前上传到Hadoop系统。