理解从业者对机器学习系统监控的视角
软件工程
2025-10-01 v1 机器学习
摘要
鉴于机器学习 (ML) 系统固有的非确定性本质，其在生产环境中的行为可能导致不可预见且具有潜在危险的结果。为了及时发现不良行为并防止组织遭受财务和声誉损失，对这些系统进行监控至关重要。本文从从业者的视角探讨了监控 ML 系统的策略、挑战和改进机会。我们对 91 位 ML 从业者进行了一项全球调查，以收集关于 ML 系统当前监控实践的多样化见解。我们旨在通过定性和定量分析补充现有研究，重点关注常见的运行时问题、工业界的监控与缓解实践、关键挑战以及未来监控工具中期望的增强功能。我们的发现表明，从业者经常在与模型性能下降、延迟超出和安全违规相关的运行时问题作斗争。虽然大多数人倾向于自动化监控以提高效率，但由于复杂性或缺乏合适的自动化解决方案，许多人仍依赖手动方法。从业者报告称，监控工具的初始设置和配置通常复杂且具有挑战性，特别是在与 ML 系统集成以及设置警报阈值时。此外，从业者发现监控增加了额外的工作量、导致资源紧张并引起警报疲劳。从业者视角下期望的改进包括：监控器的自动生成与部署、对性能和公平性监控的更好支持，以及解决运行时问题的建议。这些见解为未来更好地契合从业者需求的 ML 监控工具开发提供了宝贵指导。
引用
@article{arxiv.2509.25195,
title = {Understanding Practitioners Perspectives on Monitoring Machine Learning Systems},
author = {Hira Naveed and John Grundy and Chetan Arora and Hourieh Khalajzadeh and Omar Haggag},
journal= {arXiv preprint arXiv:2509.25195},
year = {2025}
}