“直到投入生产我们才知道模型在生产中的行为”：工程师如何将机器学习操作化
人机交互
2024-03-26 v1
摘要
组织依赖机器学习工程师在生产中部署模型并维护 ML 流水线。由于模型严重依赖新鲜数据，机器学习的操作化（即 MLOps）要求机器学习工程师精通数据科学与工程。从整体来看，这项工作似乎极其繁重——机器学习工程师如何进行 MLOps，他们面临哪些尚未解决的挑战？为了回答这些问题，我们对 18 名从事聊天机器人、自动驾驶汽车和金融等各种应用的机器学习工程师进行了半结构化民族志访谈。我们发现，机器学习工程师的工作流程包括： 数据准备， 实验研究， 贯穿多阶段部署的评估，以及 持续监控与响应。在整个工作流程中，机器学习工程师与数据科学家、产品利益相关者以及彼此之间进行广泛协作，除了常规的口头交流外，还使用从 Slack 到组织级工单和报告系统等各种沟通工具作为补充。我们提出了 MLOps 的 3V 特性：速度、可见性和版本控制——这是成功的 ML 部署的三大优势，机器学习工程师随着经验的成熟学会平衡和发展这些优势。最后，我们讨论了设计启示和未来工作的机会。
引用
@article{arxiv.2403.16795,
title = {"We Have No Idea How Models will Behave in Production until Production": How Engineers Operationalize Machine Learning},
author = {Shreya Shankar and Rolando Garcia and Joseph M Hellerstein and Aditya G Parameswaran},
journal= {arXiv preprint arXiv:2403.16795},
year = {2024}
}
备注
arXiv admin note: text overlap with arXiv:2209.09125