提升机器学习研究的可复现性（NeurIPS 2019可复现性项目报告）
机器学习
2021-01-01 v4 机器学习
摘要
机器学习研究面临的挑战之一是如何确保所展示和发表的结果可靠无误。可复现性，即使用相同的代码和数据（若可得）获得与论文或报告中所呈现的相似结果，是验证研究发现可靠性的必要步骤。可复现性也是促进开放与可及研究的重要步骤，从而使科学界能够快速整合新发现并将想法转化为实践。可复现性还促进稳健实验工作流的使用，从而潜在减少非故意错误。2019年，机器学习领域顶级国际会议神经信息处理系统大会（NeurIPS）引入了可复现性项目，旨在提升整个社区在开展、交流和评估机器学习研究方面的标准。该项目包含三个组成部分：代码提交政策、社区范围内的可复现性挑战，以及将机器学习可复现性检查清单纳入论文提交流程。本文描述上述各组成部分、其部署方式，以及我们从该倡议中所能获得的经验。
引用
@article{arxiv.2003.12206,
title = {Improving Reproducibility in Machine Learning Research (A Report from the NeurIPS 2019 Reproducibility Program)},
author = {Joelle Pineau and Philippe Vincent-Lamarre and Koustuv Sinha and Vincent Larivière and Alina Beygelzimer and Florence d'Alché-Buc and Emily Fox and Hugo Larochelle},
journal= {arXiv preprint arXiv:2003.12206},
year = {2021}
}
备注
To appear at JMLR, 16 pages + Appendix