Mini-Batch 噪声对 Adam 隐式偏好的影响

在数据质量有限且计算资源充足的背景下，跨越深度学习子领域的多轮训练正逐渐受到重视。Adam 优化器（及其变体）是许多任务（如下一个词预测）中首选的优化方法，具有两个动量超参数 $(\beta_1, \beta_2)$ 控制记忆特性，以及一个至关重要的超参数：批量大小，其控制着尤其是 mini-batch 噪声的水平。我们引入一个理论框架，以理解 mini-batch 噪声如何影响 Adam 中记忆的隐式偏好，从而导向损失景观中较尖锐或较平坦的区域——这种现象通常与多轮训练中的泛化差距相关。我们发现，在大批量情况下，更高的 $\beta_2$ 会放大记忆的反正则化效应（损害泛化），但当批量变小时，$(\text{反})正则化$ 对 $\beta_2$ 的依赖性发生相反的转变。在 $\beta_1$ 方面也出现类似的单调性转变（方向相反）。特别是，常用的默认参数组合 $(\beta_1, \beta_2) = (0.9, 0.999)$ 在小批量情况下是个不错的选择；而对于较大批量，在许多情形下将 $\beta_1$ 接近 $\beta_2$ 在多轮训练中验证精度方面要更好。此外，我们的理论推导将批量大小转换临界值与临界批量规模相联系。我们通过在即将过拟合的小规模数据上进行实验，展示了这一现象。