两个尺度的故事：论推理服务系统中水平扩容与垂直扩容的调和
分布式、并行与集群计算
2024-07-23 v1
摘要
推理服务在实际应用中部署机器学习模型至关重要，确保高效处理和快速响应推理请求。然而，在可变且不可预测的工作负载下维持系统性能，面临着显著的资源管理挑战。水平扩容和垂直扩容是两种主要的扩容策略，各自拥有不同的优势与局限性。水平扩容通过增加实例数量来处理更大的负载，但可能 suffer 从冷启动问题和增加的管理复杂度。垂直扩容通过提升现有实例的容量，实现更快的响应速度，但受限于硬件和模型并行化能力。本文引入了 Themis 系统，旨在在推理服务系统中发挥水平扩容和垂直扩容的优势。Themis 采用两阶段自动扩容策略：首先使用原地垂直扩容来处理工作负载的激增，然后在工作负载稳定后切换到水平扩容，以优化资源效率。该系统对深度学习模型的处理延迟进行轮廓化，计算排队延迟，并根据工作负载情况运用不同的动态规划算法来解决水平扩容和垂直扩容的联合问题。大规模评估使用真实世界的工作负载轨迹表明，与基于水平或垂直自动扩容的最新方法相比，SLO 违规减少了超过 ，同时在工作负载稳定时保持资源效率。
引用
@article{arxiv.2407.14843,
title = {A Tale of Two Scales: Reconciling Horizontal and Vertical Scaling for Inference Serving Systems},
author = {Kamran Razavi and Mehran Salmani and Max Mühlhäuser and Boris Koldehofe and Lin Wang},
journal= {arXiv preprint arXiv:2407.14843},
year = {2024}
}