面向公有云中自管理机器学习推理服务系统的设计
分布式、并行与集群计算
2020-08-24 v1
摘要
我们正见证基于机器学习(ML)的预测系统日益增多的趋势，其跨越不同应用领域，包括产品推荐系统、个人助理设备、人脸识别等。这些应用通常在准确率和响应延迟方面有着多样化需求，这直接影响其在公有云中部署的成本。此外，部署成本还取决于所采购资源的类型，这些资源本身在供应延迟和计费复杂性方面是异构的。因此，推理服务系统很难从这种令人困惑的资源类型和模型类型阵列中做出选择，以提供低延迟且具成本效益的推理。在这项工作中，我们定量刻画了在公有云不同资源产品上托管ML推理的成本、准确率和延迟影响。此外，我们全面评估了先前试图实现成本效益预测服务的工作。我们的评估表明，先前工作并未从模型与资源异构性两个维度解决问题。因此，我们认为要解决此问题，需要整体解决在结合模型与资源异构性以优化应用约束时所出现的各类问题。为此，我们设想开发一种自管理推理服务系统，其可根据公有云资源特征优化应用需求。为解决这一复杂优化问题，我们探索了基于强化学习的系统的高层设计，该系统能高效适应大规模下系统不断变化的需求。
引用
@article{arxiv.2008.09491,
title = {Towards Designing a Self-Managed Machine Learning Inference Serving System inPublic Cloud},
author = {Jashwant Raj Gunasekaran and Prashanth Thinakaran and Cyan Subhra Mishra and Mahmut Taylan Kandemir and Chita R. Das},
journal= {arXiv preprint arXiv:2008.09491},
year = {2020}
}