随着语言模型规模扩大，低阶线性深度动力学浮现
机器学习
2026-03-16 v1 系统与控制
系统与控制
摘要
大型语言模型常被视为高维非线性系统，视作黑盒。本文表明，变换器深度动力学在上下文范围内可被准确的低阶线性代理所替代。跨越毒性、讽刺、仇恨言论和情感分析等任务，32维的线性代理在几乎完美的一致性下复现GPT-2-large的层级灵敏度轮廓，捕捉最终输出在各层的加性注入下的变化方式。随后我们发现了一个令人惊讶的缩放原理：对于固定阶数的线性代理，随模型规模在GPT-2系列中的增大，与完整模型的一致性呈单调改善。这一线性代理还可用于原则性的多层干预，相较于标准启发式计划在能耗上具有优势。综上所述，我们的结果揭示了随着语言模型规模扩大，低阶线性深度动力学在上下文中浮现，为分析和控制这些模型提供了系统论基础。
引用
@article{arxiv.2603.12541,
title = {As Language Models Scale, Low-order Linear Depth Dynamics Emerge},
author = {Buddhika Nettasinghe and Geethu Joseph},
journal= {arXiv preprint arXiv:2603.12541},
year = {2026}
}