更严格的软件工程将改善机器学习研究的可复现性
软件工程
2025-09-03 v2 机器学习
摘要
虽然实验复现仍然是科学方法的支柱，但我们观察到，支持机器学习（ML）研究复现的软件最佳实践常常被低估或忽视，这既导致了可复现性差，也损害了ML社区的信任。我们通过调查过去十年间与NeurIPS、ICML、ICLR、TMLR和MLOSS等主要ML会议和期刊出版物相关的软件仓库中软件最佳实践的使用情况，来量化这些担忧。我们报告了这项调查的结果，该结果识别了ML社区中软件最佳实践欠缺的领域以及具有增长潜力的领域。最后，我们讨论了其影响，并就我们作为一个社区如何改善ML研究的可复现性提出了具体建议。
引用
@article{arxiv.2502.00902,
title = {More Rigorous Software Engineering Would Improve Reproducibility in Machine Learning Research},
author = {Moritz Wolter and Lokesh Veeramacheneni and Charles Tapley Hoyt},
journal= {arXiv preprint arXiv:2502.00902},
year = {2025}
}
备注
Source code available at https://github.com/BonnBytes/ml-swe-analysis