机器学习软件系统中的质量问题
软件工程
2024-08-06 v2 机器学习
摘要
背景：观察到各个领域对采用机器学习(ML)解决复杂问题的需求日益增长。ML模型作为软件组件实现并部署于机器学习软件系统(MLSSs)中。问题：强烈需要确保MLSSs的服务质量。此类系统的错误或低劣决策可能导致其他系统故障、重大财务损失甚至对生命的威胁。MLSSs的质量保证被视为一项具有挑战性的任务，目前是一个热门研究课题。目标：本文旨在从从业者的视角调查MLSSs中真实质量问题的特征。本实证研究旨在识别MLSSs中质量问题的目录。方法：我们与从业者/专家进行了一系列访谈，以收集他们在处理质量问题时的经验与实践见解。我们通过针对ML从业者的调查验证了所识别的质量问题。结果：基于37次访谈的内容，我们识别出18个反复出现的质量问题以及21种缓解策略。对于每个已识别的问题，我们根据从业者的经验描述了其原因与后果。结论：我们相信本研究中开发的这个问题目录将使社区能够为ML模型和MLSSs开发高效的质量保证工具。我们研究的复现包可在我们的公共GitHub仓库获取。
引用
@article{arxiv.2306.15007,
title = {Quality Issues in Machine Learning Software Systems},
author = {Pierre-Olivier Côté and Amin Nikanjam and Rached Bouchoucha and Ilan Basta and Mouna Abidi and Foutse Khomh},
journal= {arXiv preprint arXiv:2306.15007},
year = {2024}
}
备注
Published in the Empirical Software Engineering Journal