
cruise-control:这是一个自动化控制系统,它实现了Kafka集群的动态工作负载重新平衡以及自我修复功能,是首个完全实现这一功能的系统。 通过简化...
5星
- 浏览量: 0
- 大小:None
- 文件类型:None
简介:
Apache Kafka的巡航控制介绍 Cruise Control 是一款旨在支持大规模运行 Apache Kafka 集群的强大产品。 随着 Apache Kafka 的日益普及,越来越多的公司正在构建和维护着规模不断增长的 Kafka 集群。 在 LinkedIn 内部,我们运营着大约 7,000 台以上的 Kafka 代理服务器,这导致代理服务器失效的情况几乎每天都在发生,并且保持 Kafka 系统负载的平衡也成为了一个巨大的挑战。 因此,Kafka Cruise Control 的设计目标是有效地解决此类操作的可扩展性问题。 该产品提供以下关键特性:它能够实时追踪代理服务器、主题以及分区的资源使用情况。 通过查询当前 Kafka 集群的状态,用户可以清晰地了解哪些分区处于在线状态、哪些分区处于离线状态、哪些副本是同步的、哪些副本是不同步的,同时也能观察到集群中各个副本的分佈情况,以及每个日志目录(logDirs)的在线与离线状态。 此外,Kafka Cruise Control 还具备多目标重新平衡提案生成功能,并能够进行机架意识下的资源容量违规检查(CP)。
全部评论 (0)


