关于Mesos设计的论文

简介：
本文深入探讨了Apache Mesos的设计理念与架构细节，解析其在资源管理及任务调度方面的创新机制。适合对分布式系统感兴趣的读者阅读。 我们介绍了Mesos平台，它可以在多个不同的集群计算框架（如Hadoop和MPI）之间共享通用集群资源。通过共享可以提高集群利用率并避免因每个框架单独复制数据而造成的浪费。Mesos以细粒度的方式分配资源，使各个框架有机会轮流读取存储在每台机器上的数据从而实现数据本地化。为支持当今复杂框架的调度器需求，Mesos引入了一种分布式两级调度机制，称为“资源提供”。在这种机制下，Mesos决定向每个框架提供多少资源；而各框架则负责选择接受哪些资源以及在其上运行什么计算任务。实验结果表明，在不同类型的集群环境中使用Mesos可以接近最优地实现数据本地化，并且能够扩展到50,000个（模拟）节点的规模，同时具备良好的容错能力。