展示你的工作：改进实验结果的报告方式
机器学习
2019-09-09 v1 计算与语言
统计方法学
机器学习
摘要
自然语言处理研究的部分进展，是通过证明新模型在留出测试数据上相比先前结果取得了更优性能（例如准确率）来实现的。在本文中，我们证明仅凭测试集性能分数不足以就哪个模型表现最佳得出准确结论。我们主张报告额外细节，特别是模型开发过程中在验证数据上获得的性能。我们提出一种实现此目的的新技术：作为计算预算（即超参数搜索试验次数或总训练时间）函数的最佳发现模型的期望验证性能。使用我们的方法，我们发现多个近期的模型比较，若作者使用更多（或更少）的计算量，本会得出不同的结论。我们的方法还允许我们估算获得给定准确率所需的计算量；将其应用于几项近期发表的结果，显示出各论文之间存在巨大差异，从数小时到数周不等。我们最后提出一套报告实验结果的最佳实践，以实现稳健的未来比较，并提供代码以便研究人员使用我们的技术。
引用
@article{arxiv.1909.03004,
title = {Show Your Work: Improved Reporting of Experimental Results},
author = {Jesse Dodge and Suchin Gururangan and Dallas Card and Roy Schwartz and Noah A. Smith},
journal= {arXiv preprint arXiv:1909.03004},
year = {2019}
}