面向大规模高度不可靠节点的高性价比 BlackWater Raft 弹性扩展机制
分布式、并行与集群计算
2022-03-16 v1
摘要
Raft 算法在云中维护数据副本间的强一致性。该算法将节点划分为领导者和跟随者，以满足跨地理分布站点的读写请求。随着工作负载的增加，Raft 应提供成比例的横向扩展性能。然而，传统的横向扩展技术在 Raft 中遇到瓶颈，当已配置的站点耗尽本地资源时，性能损失将呈指数增长。为在 Raft 中提供可扩展性，本文提出一种高性价比的 Raft 弹性自动扩缩容机制，称为 BlackWater-Raft 或 BW-Raft。BW-Raft 通过以下抽象扩展原始 Raft：(1) 秘书节点，从领导者接管昂贵的日志同步操作，放宽锁上的性能约束。(2) 海量低成本观察者节点，仅处理读请求，提升典型数据密集型服务的吞吐量。这些抽象是无状态的，允许在不可靠但廉价的竞价实例上进行弹性横向扩展。理论上，我们证明 BW-Raft 在横向扩展时能保持 Raft 的强一致性保证，相比原始 Raft 处理的节点数量增加 50 倍。我们已在键值服务上实现 BW-Raft 原型，并在 Amazon EC2 和阿里云上用多种前沿方案进行评估。结果表明，在相同预算下，BW-Raft 的资源占用增量比 Multi-Raft 小 5-7 倍，比原始 Raft 优 2 倍。使用竞价实例时，BW-Raft 相比 Multi-Raft 可降低成本 84.5%。在真实世界实验中，BW-Raft 将第 95 百分位 SLO 的良好吞吐量提升 9.4 倍，从而作为强一致性服务横向扩展的替代方案。
引用
@article{arxiv.2203.07920,
title = {Cost-effective BlackWater Raft on Highly Unreliable Nodes at Scale Out},
author = {Zichen Xu and Yunxiao Du and Kanqi Zhang and Jiacheng Huang and Jie Liu and Jingxiong Gao and Christopher Stewart},
journal= {arXiv preprint arXiv:2203.07920},
year = {2022}
}
备注
18 pages, 26 figures, We are already revising the Camera Ready version of IEEE Transaction on Cloud Computing