平衡 Adam 的记忆刷新缩放

近期证据表明，Adam 在其动量参数被绑定时（即 $\beta_1=\beta_2$）表现稳健，从而将优化器简化为仅剩单一参数。然而，如何设置该参数仍知之甚少。我们认为，在平衡 Adam 中，$\beta$ 不应被视为无量纲常数：它定义了一个统计记忆视界 $H_\beta=(1-\beta)^{-1}$。基于从验证轨迹估计的有效学习视界 $T_{\mathrm{ES}}$，我们研究了刷新计数 $R_\beta=(1-\beta)T_{\mathrm{ES}}$，它衡量了 Adam 在训练的有效阶段内更新其内部统计量的次数。在 11 项视觉和语言实验中，我们发现选择 $\beta$ 使得 $R_\beta\approx1000$ 会根据训练规模选择不同的 $\beta$ 值，但相比最佳固定 beta 基线提升了稳健性。与最强的固定选择 $\beta=0.944$ 相比，刷新规则提升了最坏情况下的稳健性，将验证损失的最大相对差距降低了 33.4%，同时使所有 11 次运行都在其验证预言机(oracle)的 1% 范围内。这些结果表明，平衡 Adam 剩余的超参数更自然地被视为记忆尺度变量，而非固定常数。这为优化器缩放提供了一种简单的预算感知视角，并为将 Adam 的动量作为学习动态的一部分而非静态默认值来处理开辟了道路。