从重复现象理解上下文学习

本文探究大语言模型（LLM）中上下文学习这一难以捉摸的机制。我们的工作通过表面重复的视角审视上下文学习，提供了新颖的观点。我们定量研究了表面特征在文本生成中的作用，并经验性地确立了“词元共现强化”的存在——该原则基于词元在上下文中的共现而加强二者间关联。通过考察这些特征的双重影响，我们的研究阐明了上下文学习的内部运作并阐释了其失效原因。本文对理解上下文学习及其潜在局限作出了重要贡献，为这一令人振奋的能力提供了崭新视角。