考察实现因素对深度学习可复现性的影响
人工智能
2023-12-12 v1 软件工程
摘要
由于存在不可复现性的来源，复现已发表的深度学习论文以验证其结论可能很困难。我们研究了实现因素对结果的影响，以及它们如何影响深度学习研究的可复现性。三个深度学习实验分别在13种不同的硬件环境和4种不同的软件环境中各运行了五次。对780个组合结果的分析表明，仅由硬件或软件环境变化引入的差异，就在相同的确定性示例上导致了超过6%的准确率范围。为考虑这些实现因素，研究人员应在不同的硬件和软件环境中多次运行实验，以验证其结论不受影响。
引用
@article{arxiv.2312.06633,
title = {Examining the Effect of Implementation Factors on Deep Learning Reproducibility},
author = {Kevin Coakley and Christine R. Kirkpatrick and Odd Erik Gundersen},
journal= {arXiv preprint arXiv:2312.06633},
year = {2023}
}