通过层层剥离优化揭示大语言模型中的对称性迁移

大语言模型（LLM）通过最小化下一个标记预测的交叉熵损失进行预训练。本文研究这种优化策略是否能在学习到的模型权重和上下文嵌入中诱导几何结构。我们通过分析受约束的层层剥离优化程序来解决此问题，该程序作为LLM的可数学可分析的替代方案，将输出投影矩阵和最后一层上下文嵌入视为优化变量。我们对该非凸优化程序的分析表明，目标下一个标记分布中的对称性在层层剥离模型的全局最小点中以精确的群论意义上被迁移。具体而言，我们证明当目标标记 exhibits 循环移位对称性（例如一周七天或一年十二个月）时，最优logit矩阵恰好是循环矩阵，而输出投影和上下文嵌入的Gram矩阵也形成循环几何。对于exchangeable目标分布，其在对称群下不变，或更一般地在两个传递群作用下不变，我们显示全局最优输出投影矩阵形成一个单纯形等角紧密框架，而最优logit矩阵和上下文嵌入继承了输入数据中存在的置换对称性。一个关键技术步骤是将受约束的非凸分解问题简化为循环对称性的显式logit层凸特征，以及置换对称性的基于对称性的下界，以及最优分解的尖锐特征描述。最后，我们经验性地演示了开源LLM天然地表现出与我们的理论预测一致的对称性，尽管在训练时没有任何旨在促进此类几何结构的显式正则化。