上下文学习表示的可证明低频偏好
机器学习
2025-07-31 v2
摘要
上下文学习（ICL）使大型语言模型（LLM）能够仅从输入序列中获取新行为，而无需任何参数更新。最近的研究表明，ICL可以通过将提示的数据生成过程（DGP）的结构内化到隐藏表示中，从而超越预训练阶段学到的原始含义。然而，LLM实现这种能力的机制尚不明确。在本文中，我们通过引入一个双重收敛的统一框架，首次对此类现象进行了严格解释，其中隐藏表示在上下文和跨层两个维度上收敛。这种双重收敛过程导致了对平滑（低频）表示的隐式偏好，我们对此进行了分析证明和实证验证。我们的理论解释了几项开放性的实证观察结果，包括为什么学习到的表示表现出全局结构化但局部扭曲的几何形状，以及为什么它们的总能量衰减但不会消失。此外，我们的理论预测ICL对高频噪声具有内在鲁棒性，我们对此进行了实证确认。这些结果为ICL的底层机制提供了新的见解，并为其研究提供了理论基础，有望扩展到更一般的数据分布和设置。
引用
@article{arxiv.2507.13540,
title = {Provable Low-Frequency Bias of In-Context Learning of Representations},
author = {Yongyi Yang and Hidenori Tanaka and Wei Hu},
journal= {arXiv preprint arXiv:2507.13540},
year = {2025}
}