高效能分布式执行框架——Ray

简介：
Ray是一个开源的分布式计算框架，支持Python编程语言，旨在简化大规模并行和分布式应用程序的开发。它提供强大的任务调度与管理能力，特别适用于机器学习、服务化应用等领域。 Ray是由UC Berkeley RISELab开发的一个高性能分布式执行框架。它采用了独特的架构和对分布式计算的抽象方式，在性能上超越了传统的系统如Spark。尽管最初定位为面向AI应用，但其通用性使其适用于广泛的分布式计算场景。 在使用Ray时，通过在Python函数前添加`@ray.remote`装饰器来标记这些函数作为远程执行任务，并异步地调用它们。利用`ray.get`可以同步获取结果对象ID的实际值。这种方式类似于Java中的Future模式，但提供了更多灵活性以构建复杂的计算依赖图。 例如，在Ray中，两个不同的函数A和B可以在同一时间并行运行，而第三个函数C的执行则需要等待A和B的结果作为输入条件。这种机制使得开发者能够动态地创建复杂的数据处理流程，并且每个任务都可以看作是DAG中的一个节点，它们之间的关系定义了整个计算图。 Ray系统架构基于主从设计模式（Master-Slave），但是它引入了一种混合的任务调度策略： 1. GlobalScheduler：位于中央的主控节点上，负责全局范围内各个分布式任务的分配。 2. RedisServer：用于存储有关对象映射、任务描述和调试信息的状态数据。 3. LocalScheduler：在每个从属节点内部运行，接收来自GlobalScheduler的任务，并进一步分发给本地的工作器（Worker）执行。 4. Worker：实际负责处理具体计算工作的实体。它们将结果存放在ObjectStore中。 5. ObjectStore：这是一个内存中的存储系统，用于存放只读数据对象，通过Apache Arrow技术实现高效的共享机制以减少不必要的复制和序列化操作成本。 6. Plasma：作为管理组件控制着整个ObjectStore的运作，并在本地工作器请求远程对象时提供自动抓取服务。 Ray的Driver角色类似于Spark中负责任务提交的角色，但是它处理的是更细粒度的任务单元（即remote函数），并且能够根据这些函数之间的依赖关系动态生成和调整计算图。从属节点既可以发起新的任务也可以响应到来自其他地方的调用请求。 总之，Ray致力于提供高性能且低延迟的服务给分布式应用开发人员使用，特别是在那些需要频繁交互和灵活调度场景下的AI领域中表现尤为突出。尽管它现在还处于实验阶段，并可能存在一些尚待完善的地方，但其强大的灵活性与高效的内存管理机制已经显示出在处理大规模数据集及复杂计算任务方面的巨大潜力。对于对创新分布式技术感兴趣的开发者来说，Ray无疑是一个值得探索的研究平台。