我们在神经网络训练上取得了多少进展？一种用于基准测试优化器的新型评估协议
机器学习
2020-10-21 v1 最优化与控制
机器学习
摘要
已提出许多优化器用于训练深度神经网络，它们通常具有多个超参数，这使得对其性能进行基准测试十分棘手。在这项工作中，我们提出了一种新的基准测试协议，以评估端到端效率（在不知最佳超参数的情况下从头训练模型）和数据追加训练效率（先前选定的超参数用于定期用新收集的数据重新训练模型）。对于端到端效率，与先前假设随机超参数调优（过度强调调优时间）的工作不同，我们提议使用 bandit 超参数调优策略进行评估。我们进行了一项人类研究，以表明我们的评估协议比随机搜索更符合人类调优行为。对于数据追加训练，我们提出了一种评估超参数对数据偏移敏感性的新协议。然后我们将所提出的基准测试框架应用于 7 种优化器和各种任务，包括计算机视觉、自然语言处理、强化学习和图挖掘。我们的结果表明，在所有任务中并无明确的赢家。
引用
@article{arxiv.2010.09889,
title = {How much progress have we made in neural network training? A New Evaluation Protocol for Benchmarking Optimizers},
author = {Yuanhao Xiong and Xuanqing Liu and Li-Cheng Lan and Yang You and Si Si and Cho-Jui Hsieh},
journal= {arXiv preprint arXiv:2010.09889},
year = {2020}
}