Spark动态资源调度-DynamicResourceAllocation

简介：
简介：Dynamic Resource Allocation是Apache Spark的一项特性，允许在运行时弹性调整执行资源。它通过回收未充分利用的集群资源并按需分配给新任务，从而提高集群利用率和作业效率。 在Spark中，资源单位通常指的是executors。这与Yarn中的Containers类似，在Spark On Yarn模式下，一般使用`--num-executors`参数来指定应用程序使用的executor数量，并通过`--executor-memory`和`--executor-cores`分别设置每个executor的内存大小和虚拟CPU核数。 假设有一个场景：如果用户在使用Hive进行数据开发和分析时，多个用户同时利用hive-cli。在这种情况下，只有当用户提交并执行了HiveSQL语句时，才会向YARN请求资源以运行任务；如果不提交任何操作，则不会占用额外的计算资源。