机器学习运维化：一项访谈研究
软件工程
2022-09-20 v1 人机交互
机器学习
摘要
组织依赖机器学习工程师（MLE）来运维化 ML，即在生产环境中部署并维护 ML 流水线。运维化 ML 的过程，或称 MLOps，由以下持续循环组成：（i）数据收集与标注，（ii）改善 ML 性能的试验，（iii）多阶段部署过程中的评估，以及（iv）生产环境中性能下降的监控。综合来看，这些职责似乎令人望而生畏——任何人如何做 MLOps，未解决的挑战是什么，对工具构建者有何启示？我们对 18 名从事多种应用（包括聊天机器人、自动驾驶汽车和金融）的 MLE 进行了半结构化民族志访谈。我们的访谈揭示了支配生产型 ML 部署成功的三个变量：速度（Velocity）、验证（Validation）与版本控制（Versioning）。我们总结了成功的 ML 试验、部署和维持生产性能的常见实践。最后，我们讨论了受访者的痛点与反模式，并给出对工具设计的启示。
引用
@article{arxiv.2209.09125,
title = {Operationalizing Machine Learning: An Interview Study},
author = {Shreya Shankar and Rolando Garcia and Joseph M. Hellerstein and Aditya G. Parameswaran},
journal= {arXiv preprint arXiv:2209.09125},
year = {2022}
}
备注
20 pages, 4 figures