面向机器学习模型部署与监控的系统：现状与问题
软件工程
2024-02-09 v1
摘要
[背景] 集成机器学习 (ML) 模型的系统，常称为 ML-enabled 系统，已变得普遍。然而，关于 ML-enabled 系统在实践中如何工程化的实证证据仍有限，特别是关于 ML 模型 dissemation 的活动。[目标] 我们调查当代工业实践和与 ML 模型 dissemination 相关的问题，专注于模型部署和 ML 生命周期阶段的监控。[方法] 我们进行了一次国际调查，以收集从事 ML-enabled 系统工程的从业者的见解。我们收集了来自25个国家的188个完整响应。我们分析了模型部署和监控阶段的现状和问题。我们使用置信区间进行引导法分析当代实践，并通过开放和轴编码程序对报告的问题进行定性分析。[结果] 从业者认为模型部署和监控阶段是相关且困难的。就模型部署而言，模型通常作为独立服务部署，MLOps 原则的采用有限。报告的问题包括在生产部署中设计基础设施架构和遗留应用程序集成方面的困难。就模型监控而言，许多生产中的模型未被监控。主要监控的方面是输入、输出和决策。报告的问题涉及监控实践缺失、需要创建自定义监控工具以及选择合适的指标。[结论] 我们的结果有助于更好地理解在实践中采用的做法和问题，并支持以问题为导向的方式指导 ML 部署和监控研究。
关键词
引用
@article{arxiv.2402.05333,
title = {ML-Enabled Systems Model Deployment and Monitoring: Status Quo and Problems},
author = {Eduardo Zimelewicz and Marcos Kalinowski and Daniel Mendez and Görkem Giray and Antonio Pedro Santos Alves and Niklas Lavesson and Kelly Azevedo and Hugo Villamizar and Tatiana Escovedo and Helio Lopes and Stefan Biffl and Juergen Musil and Michael Felderer and Stefan Wagner and Teresa Baldassarre and Tony Gorschek},
journal= {arXiv preprint arXiv:2402.05333},
year = {2024}
}
备注
arXiv admin note: text overlap with arXiv:2310.06726