开源可复现性的一曲塞壬之歌
机器学习
2022-04-12 v1 人工智能
软件工程
摘要
随着可复现性日益受到关注，会议大多已趋同于一种策略，即要求审稿人标明投稿是否附带了代码。这是基于假想理想采取行动、却不考察这些行动能否产生预期结果这一更大趋势的一部分。我们的论点是，若想改善可复现研究的状况，这种聚焦于用代码进行复现的做法是误入歧途的。这种聚焦可能是有害的——我们不应强制提交代码。目前缺乏证据表明会议所采取的、旨在鼓励和奖励可复现性的行动是有效的。我们认为，当今会议必须采取更多行动来推进可复现的机器学习研究。
引用
@article{arxiv.2204.04372,
title = {A Siren Song of Open Source Reproducibility},
author = {Edward Raff and Andrew L. Farris},
journal= {arXiv preprint arXiv:2204.04372},
year = {2022}
}
备注
To be presented at the ML Evaluation Standards Workshop at ICLR 2022