变压器前馈层在非线性情境学习中的作用
机器学习
2025-10-14 v3 人工智能
摘要
变压器模型在情境学习 (in-context learning, ICL) 中展现出惊人的能力，能够在无需参数更新的情况下，通过少量提示示例适应到未见的任务。近期研究揭示了变压器如何进行 ICL，表明最优线性自注意力 (LSA) 机制可在随机线性回归任务上实现线性最小二乘目标的梯度下降一步。基于此，本文探讨了非线性函数类的 ICL。我们首先证明了 LSA 本质上无法在非线性任务上超越线性预测器，这凸显了现有解决方案无法轻易扩展到此类问题的原因。为克服这一限制，我们分析了由 LSA 和受门控线性单元 (GLU) 启发的前馈层构成的变压器模块，这是现代变压器中的标准组件。我们表明，该模块通过实现多项式核回归损失的梯度下降一步，实现了非线性 ICL。此外，我们的分析揭示了单个模块的表达性本质上受限于其维数。随后我们证明，深层变压器通过在多个模块之间分布计算更丰富的核函数，实现了在单个模块无法表示的高维特征空间中的块坐标下降，从而克服了这一瓶颈。我们的发现突出了前馈层为变压器实现非线性 ICL 表示提供了关键且可扩展的机制。
引用
@article{arxiv.2501.18187,
title = {On the Role of Transformer Feed-Forward Layers in Nonlinear In-Context Learning},
author = {Haoyuan Sun and Ali Jadbabaie and Navid Azizan},
journal= {arXiv preprint arXiv:2501.18187},
year = {2025}
}