模型服务框架的开销：实验评估
机器学习
2024-11-18 v1
摘要
在机器学习 (ML) 中，推理阶段是将预训练模型应用于新的、未见过的数据以进行预测的过程。在推理阶段，最终用户与 ML 服务交互，以基于输入数据获取洞察、推荐或行动。因此，服务策略对于在生产环境中有效部署和管理模型至关重要。这些策略确保模型可用、可扩展、可靠且高性能，适用于时间序列预测、图像分类、自然语言处理等现实应用。本文在四种不同场景（恶意软件检测、加密货币价格预测、图像分类和情感分析）下评估五种广泛使用的模型服务框架 (TensorFlow Serving, TorchServe, MLServer, MLflow 和 BentoML) 的性能。我们证明 TensorFlow Serving 在服务深度学习 (DL) 模型方面能超越所有其他框架。此外，我们表明面向 DL 的框架 (TensorFlow Serving 和 TorchServe) 显示出比三个通用 ML 框架 (BentoML、MLflow 和 MLServer) 显著更低的延迟。
引用
@article{arxiv.2411.10337,
title = {On the Cost of Model-Serving Frameworks: An Experimental Evaluation},
author = {Pasquale De Rosa and Yérom-David Bromberg and Pascal Felber and Djob Mvondo and Valerio Schiavoni},
journal= {arXiv preprint arXiv:2411.10337},
year = {2024}
}