变压器训练中的优化器诱导低维漂移与横向动力学
机器学习
2026-03-20 v3 人工智能
摘要
我们分析变压器训练中 AdamW 的累积参数轨迹，识别出一种支配性的低维漂移方向（“主干”），可捕获初始化后 60--80% 的长程位移。该方向在滚动训练窗口中高度稳定，但在不同阶段之间逐渐重新取向，特别是在目标重新加权后。小批量梯度在主干方向上几乎对齐噪声底线，而优化器集成更新则强烈对齐主干，表明该结构是从累积的优化器动力学中产生的，而非来自瞬时梯度几何。用 SGD 系列优化器取代 AdamW 可消除这种结构，降低 可平滑降解主干主导性并恢复再加热能力。再加热实验表明，横向探测模式可在不显著改变累积主干漂移的情况下被暂时重新激活。这些结果提供了变压器训练中优化器诱导几何结构的轨迹级表征，转移注意力从瞬时梯度属性转向累积更新动力学。
引用
@article{arxiv.2602.23696,
title = {Optimizer-Induced Low-Dimensional Drift and Transverse Dynamics in Transformer Training},
author = {Yongzhong Xu},
journal= {arXiv preprint arXiv:2602.23696},
year = {2026}
}
备注
23 pages, 4 figures