In-Context线性回归Transformer中瞬态结构的动力学

现代深度神经网络显示出丰富的内部计算结构。揭示这些结构发展背后原则是深入学习科学的首要任务。本文探讨了瞬态脊 Ridge 现象：当Transformer在具有中间任务多样性的in-Context线性回归任务上进行训练时，它们初始时表现为类似岭回归，随后专化于其训练分布中的任务。通过联合轨迹主成分分析揭示了从通用解向专用解的这一转变。进一步，我们借助贝叶斯内部模型选择理论，提出一种普遍解释Transformer中瞬态结构的通用框架，基于损失与复杂度之间的演进性权衡。我们通过测量我们Transformer模型复杂度（由局部学习系数定义）来实证验证了这一解释。