解耦特征结构：Transformer 中数学可证明的两阶段训练动态
计算与语言
2025-10-14 v2 人工智能
机器学习
摘要
Transformer 在实际训练过程中可能表现出两阶段训练动态。例如，在 Counterfact 数据集上训练 GPT-2 时，答案的演变会从语法不正确到语法正确，再到语义正确。然而，现有的理论分析很难解释这种源于语法和语义等解耦的两类特征的特征级两阶段现象。在本文中，我们从理论上证明了 Transformer 中两阶段训练动态是如何潜在发生的。具体而言，我们分析了由上述解耦的两类特征结构引发的特征学习动态，并将我们的分析建立在一个简化但具说明性的设定上，该设定包含一个归一化的 ReLU 自注意力层和结构化数据。这种特征结构的解耦在实践中具有普遍性，例如，自然语言包含语法和语义，蛋白质包含一级和二级结构。据我们所知，这是关于 Transformer 中特征级两阶段优化过程的第一个严格结果。此外，推论表明这种两阶段过程与注意力权重的谱特性密切相关，这与我们的经验发现非常吻合。
关键词
引用
@article{arxiv.2502.20681,
title = {Disentangling Feature Structure: A Mathematically Provable Two-Stage Training Dynamics in Transformers},
author = {Zixuan Gong and Shijia Li and Yong Liu and Jiaye Teng},
journal= {arXiv preprint arXiv:2502.20681},
year = {2025}
}