BARISTA: 面向深度学习预测服务的高效可扩展无服务器服务系统
分布式、并行与集群计算
2019-12-30 v2 机器学习
摘要
预训练深度学习模型正越来越多地用于提供各种计算密集型的预测分析服务，例如健身追踪、语音和图像识别。深度学习模型的无状态和高度可并行化特性使其非常契合无服务器计算范式。然而，由于动态工作负载和可用资源配置多样且各自具有部署与管理成本，为这些服务做出有效的资源管理决策是一个难题。为应对这些挑战，我们提出了一个称为Barista的分布式可扩展深度学习预测服务系统，并做出如下贡献。首先，我们提出了一种通过识别各种趋势来快速有效预测工作负载的方法。其次，我们形式化了一个优化问题，以在确保有界预测延迟和合理精度的同时最小化总开销。第三，我们提出了一种高效启发式方法来识别合适的计算资源配置。第四，我们提出了一个智能代理，通过横向和纵向扩展来分配和管理计算资源，以维持所需的预测延迟。最后，利用城市交通服务的代表性真实工作负载，我们展示并验证了Barista的能力。
引用
@article{arxiv.1904.01576,
title = {BARISTA: Efficient and Scalable Serverless Serving System for Deep Learning Prediction Services},
author = {Anirban Bhattacharjee and Ajay Dev Chhokra and Zhuangwei Kang and Hongyang Sun and Aniruddha Gokhale and Gabor Karsai},
journal= {arXiv preprint arXiv:1904.01576},
year = {2019}
}