余弦门控 Adam 衰减：面向解耦 DiLoCo 的时滞感知外层优化

异步 DiLoCo 系统可能接收几个外层轮次之前计算的伪梯度,但标准 Nesterov 外层优化器未显式地根据每个更新的年龄进行条件化. 这会导致在大型受控延迟下,外层动量缓冲区变得脆弱. 我们提出了余弦门控 Adam 衰减(CGAD),这是一种简单且即插即用的年龄感知外层优化器,其在伪梯度进入 Adam 的一阶和二阶矩缓冲区之前,将其按 $\sigma(\tau) = \gamma(\tau) e^{-\alpha\tau}$ 进行比例缩放;指数衰减模型信息衰减,余弦门 $\gamma(\tau)$ 在选定截止值处平滑地将贡献置零. 当 $\tau=0$ 时,CGAD 简化为普通 Adam,增加的两个超参数默认值可跨尺度迁移,并扩展到部分同步调度器 via 每片碎片的年龄感知变体(PA-CGAD). 对于光滑非凸目标上的理想化门控自适应更新,我们证明了非收敛收敛界,其时滞偏项仅取决于 $\alpha$,而非实现的最大延迟 $\tau_{\max}$;异步动量-SGD 的标准分析则包含 $\tau_{\max}^2$ 因子. 实验上,在 25M、1B 和 7B 参数的 Llama 风格语言模型预训练中,CGAD 在我们扫描的受控延迟下保持稳定训练. 余弦截止作为尺度保险:最近的基线 Adam 衰减(CGAD 无截止),在 25M 时竞争,但其从 25M 到 7B 的种子间 $\sigma$ 在 $\tau=8$ 时增长 27 倍,将其单次风险(均值 + $\sigma$)推高至超过机会水平损失,而 CGAD 的风险始终保持在较低水平. 发表的 Nesterov 配方在完整扫描中最不稳定.