机器学习资产管理局限性的实证研究
软件工程
2024-06-19 v2 人工智能
摘要
在机器学习（ML）领域，高效的资产管理（包括 ML 模型、数据集、算法和工具）对于资源优化、性能一致性以及简化的开发生命周期至关重要。这使得迭代更快、适应性更强、从开发到部署的时间缩短，并产出可靠的结果。尽管已有相关研究，但在模型版本控制、数据可追溯性和协作等运营挑战方面仍存在巨大的知识缺口，而这些对于 ML 项目的成功至关重要。本研究旨在通过分析来自开发者论坛和平台的 15,065 篇帖子来填补这一缺口，采用混合方法对询问进行分类，利用 BERTopic 提取挑战，并通过开放卡片排序和 BERTopic 聚类识别解决方案。我们发现了 133 个与资产管理挑战相关的主题，归为 16 个宏观主题，其中软件依赖、模型部署和模型训练是讨论最多的。我们还发现了 79 个解决方案主题，归类为 18 个宏观主题，突显了软件依赖、功能开发和文件管理是关键解决方案。这项研究强调了对已识别痛点进行进一步探索的必要性，以及学术界、工业界和研究社区之间协作努力的重要性。
引用
@article{arxiv.2402.15990,
title = {An Empirical Study of Challenges in Machine Learning Asset Management},
author = {Zhimin Zhao and Yihao Chen and Abdul Ali Bangash and Bram Adams and Ahmed E. Hassan},
journal= {arXiv preprint arXiv:2402.15990},
year = {2024}
}