沿山谷寻找更优极小值的探索

寻找更低且更易于泛化的极小值是深度学习中的关键任务。然而，大多数现有优化器一旦到达局部极小值就停止搜索参数空间。鉴于损失景观的复杂几何特性，难以保证此类点是最低点或提供最佳泛化。为此，我们提出一种适配器“E”用于梯度基于优化器。该适配优化器倾向于继续沿景观山谷（损失近似相等且较低的区域）进行搜索，以寻找潜在的更好局部极小值。这种方法增加了找到更低且更平坦的局部极小值的可能性，而这通常与更好的泛化相关。我们还在凸和非凸场景中提供收敛性证明。最后，我们在重要但极其困难的训练场景中展示了其有效性，即大批量训练，其中Lamb为基准优化器。我们的测试结果显示，适配后的Lamb（ALTO）在多种大批量训练任务中，将当前最先进优化器的测试准确率（泛化能力）提高平均2.5%。该工作可能开启优化算法设计的新研究方向。