本地与云环境下容器化机器学习应用自动扩缩容框架的比较
分布式、并行与集群计算
2024-02-27 v2
摘要
在部署机器学习(ML)应用时,计算资源的自动化分配(通常称为自动扩缩容)对于在波动的工作负载下保持一致的推理时间至关重要。其目标是在最小化资源成本的同时,最大化服务质量指标,强调性能与可用性。本文中,我们在本地环境(生产服务器)中比较了三个扩缩容层级的可扩展部署技术:应用层级(TorchServe、RayServe)与容器层级(K3s),以及在云环境(Amazon Web Services Elastic Container Service 与 Elastic Kubernetes Service)中的容器层级与机器层级。该比较通过研究多客户端场景下推理时间的均值与标准差,以及扩容响应时间来进行。基于该分析,我们提出了一种适用于本地与云环境的部署策略。
引用
@article{arxiv.2311.18659,
title = {Comparison of Autoscaling Frameworks for Containerised Machine-Learning-Applications in a Local and Cloud Environment},
author = {Christian Schroeder and Rene Boehm and Alexander Lampe},
journal= {arXiv preprint arXiv:2311.18659},
year = {2024}
}
备注
6 pages, 3 figures