SkyServe：利用竞价实例跨区域和云服务 AI 模型
分布式、并行与集群计算
2025-03-05 v2 人工智能
摘要
近年来，AI 模型经历了爆炸式增长。在 GPU 上托管 AI 服务的高昂成本及其苛刻的服务要求，使得降低服务成本和保证服务质量变得及时且具有挑战性。虽然竞价实例长期以来以大幅折扣提供，但竞价实例抢占现象阻止了用户使用它们来托管模型副本以服务 AI 模型。为解决这一问题，我们提出了一种简单而高效的策略 SpotHedge，利用跨不同故障域（如区域和云）的竞价实例副本来确保可用性、降低成本并保证高质量的服务质量。SpotHedge 智能地将竞价实例副本分布在不同区域和云中，以提高可用性并减少相关抢占，过度配置廉价竞价实例副本以防范可能的抢占，并在竞价实例副本不可用时动态回退到按需副本。我们构建了 SkyServe，一个利用 SpotHedge 在混合竞价实例和按需副本之间跨区域和云高效服务 AI 模型的系统。我们将 SkyServe 与真实 AI 工作负载上的研究和生产系统进行了比较：SkyServe 平均降低 43% 的成本，同时相比使用按需副本实现了高资源可用性。此外，SkyServe 平均将 P50、P90 和 P99 延迟分别提升了 2.3×、2.1×、2.1×，优于其他研究和生产系统。
引用
@article{arxiv.2411.01438,
title = {SkyServe: Serving AI Models across Regions and Clouds with Spot Instances},
author = {Ziming Mao and Tian Xia and Zhanghao Wu and Wei-Lin Chiang and Tyler Griggs and Romil Bhardwaj and Zongheng Yang and Scott Shenker and Ion Stoica},
journal= {arXiv preprint arXiv:2411.01438},
year = {2025}
}
备注
EuroSys 25'