PRETZEL：打开机器学习预测服务系统的黑箱
机器学习
2018-10-16 v1 分布式、并行与集群计算
机器学习
摘要
机器学习模型通常由变换流水线组成。虽然这种设计允许在训练时高效执行单个模型组件，但预测服务具有不同的需求，例如低延迟、高吞吐量和在重负载下性能优雅降级。当前的预测服务系统将模型视为黑箱，出于易于部署的考虑而忽略了预测时间特定的优化。在本文中，我们提出PRETZEL，一个引入新颖白箱架构的预测服务系统，支持端到端和多模型优化。使用类生产的模型流水线，我们的实验表明PRETZEL能够在不同维度上带来性能提升；与最先进的方法相比，PRETZEL平均能够将99分位延迟降低5.5倍，同时将内存占用减少25倍，并将吞吐量提高4.7倍。
引用
@article{arxiv.1810.06115,
title = {PRETZEL: Opening the Black Box of Machine Learning Prediction Serving Systems},
author = {Yunseong Lee and Alberto Scolari and Byung-Gon Chun and Marco Domenico Santambrogio and Markus Weimer and Matteo Interlandi},
journal= {arXiv preprint arXiv:1810.06115},
year = {2018}
}
备注
16 pages, 14 figures, 13th USENIX Symposium on Operating Systems Design and Implementation (OSDI), 2018