理解大语言模型后训练中的结构性变化
机器学习
2026-01-30 v4 人工智能
摘要
后训练从根本上改变了大语言模型（LLM）的行为，但其对内部参数空间的影响仍不完全了解。本文我们对预训练大语言模型中主要线性层进行系统性的奇异值分解（SVD）分析，关注两种广泛采用的后训练方法：指令调优和长链式思维（Long-CoT）蒸馏。我们的分析揭示了两个意外且稳健的结构性变化：（1）奇异值在各层之间几乎均匀的几何尺度放大；（2）每个矩阵的左奇异向量和右奇异向量施加了高度一致的正交变换。基于这些发现，我们提出了一个简单而有效的框架来描述大语言模型参数的协同动力学，这阐明了为何后训练本质上依赖于预训练期间所发展出的基础能力。进一步实验表明，奇异值的尺度放大支撑了后训练中受温度控制的调节机制，而奇异向量的协调旋转编码了关键语义对齐。这些结果挑战了将大型模型参数空间视为黑箱的主流观点，揭示了参数在训练期间演变的首个明确规律，并为更深入地调查模型参数变化提供了新视角。
引用
@article{arxiv.2509.17866,
title = {Understanding Post-Training Structural Changes in Large Language Models},
author = {Xinyu He and Xianghui Cao},
journal= {arXiv preprint arXiv:2509.17866},
year = {2026}
}