理解机器学习 Jupyter Notebook 中的反馈机制
软件工程
2024-08-02 v1
摘要
机器学习开发生命周期以迭代和探索性过程为特征，依赖反馈机制来确保数据和模型完整性。尽管反馈在机器学习工程中起着关键作用，但此前尚未有研究识别和了解这些机制。为了填补这一知识空白，我们挖掘了 297,800 个 Jupyter Notebook 并分析了 230 万个代码单元。我们识别出三种关键反馈机制——断言语句、打印语句和末单元语句——并进一步将其分为隐式和显式两种反馈形式。我们的发现揭示了对关键设计决策广泛使用隐式反馈，以及显式反馈机制采用相对有限。通过对选定的反馈实例进行详细的案例研究，我们揭示了使用断言语句在机器学习工作流中自动验证关键假设的潜力。最后，本研究强调了改进文档的必要性，并提供了关于如何有效利用机器学习开发工作流中现有反馈机制来减轻技术债务和增强可复现性的实用建议。
引用
@article{arxiv.2408.00153,
title = {Understanding Feedback Mechanisms in Machine Learning Jupyter Notebooks},
author = {Arumoy Shome and Luis Cruz and Diomidis Spinellis and Arie van Deursen},
journal= {arXiv preprint arXiv:2408.00153},
year = {2024}
}