通过归纳偏置解释变换器中的拟合现象
机器学习
2026-02-09 v1
摘要
我们通过归纳偏置的视角研究变换器中的拟合现象：由架构或优化引起的偏向，使网络倾向于选择一种解决方案而非另一种。首先，我们展示，层归一化（LN）的位置等 architectural 选择对拟合速度具有强烈的调制作用。这种调制通过隔离特定路径上 LN 如何塑造捷径学习和注意力熵来解释。随后，我们研究不同的优化设置如何调节拟合，导致对之前提出的控制措施（如读出比例）产生不同的解释。特别地，我们发现，在我们所述的设置下，将读出比例用作惇�训练的控制措施可能受到学习率和权重衰减的干扰。因此，我们展示特征在训练期间持续演化，暗示变换器中的拟合可能比学习 regimes 的惇�到富转换更为细致。最后，我们展示在不同归纳偏置调制因素下，特征压缩性如何可预测地驱动泛化。我们的代码已发布于 https://tinyurl.com/y52u3cad。
引用
@article{arxiv.2602.06702,
title = {Explaining Grokking in Transformers through the Lens of Inductive Bias},
author = {Jaisidh Singh and Diganta Misra and Antonio Orvieto},
journal= {arXiv preprint arXiv:2602.06702},
year = {2026}
}
备注
Total 15 pages, 9 figures