穿越拥挤山谷——深度学习优化器基准评测

选择优化器被认为是深度学习中最关键的设计决策之一，且并非易事。日益增长的文献现在列出了数百种优化方法。在缺乏明确理论指导和确凿经验证据的情况下，决策往往基于经验之谈。在这项工作中，我们的目标是用有证据支持的启发式方法取代这些经验之谈，即使不能给出一个结论性的排名。为此，我们对十五种特别流行的深度学习优化器进行了广泛、标准化的基准评测，同时简要概述了广泛可能的选择。通过分析超过 $50,000$ 次独立运行，我们贡献了以下三点：(i) 优化器性能在不同任务间差异很大。(ii) 我们观察到，使用默认参数评估多个优化器的效果，大约与调整单个固定优化器的超参数一样好。(iii) 虽然我们无法辨别出一种在所有测试任务中明显占优的优化方法，但我们识别出一个显著缩小的特定优化器和参数选择子集，这些选择在我们的实验中通常能带来有竞争力的结果：Adam 仍然是一个有力的竞争者，而较新的方法未能显著且一致地超越它。我们开源的结果可作为具有挑战性且经过良好调优的基线，用于更有意义地评估新的优化方法，而无需任何额外的计算工作。