大语言模型在基于情境的学习期间重新组织表征几何
计算与语言
2026-05-29 v1 机器学习
神经元与认知
摘要
大语言模型(LLM) exhibits 非凡的灵活性：它们可以适应来自情境示例的新任务，而无需进行任何参数更新，这一能力称为情境学习(ICL)。先前的合成任务研究表明，ICL 可以实现特定算法，证明了架构能力，机制性分析已识别支持这种行为的关键电路。然而，由于情境计算 ——无论其算法形式如何 ——依赖于高维表征空间中的转换，仍不清楚该空间的几何如何影响 ICL 的效果。我们受神经科学将分类视为神经表征“解耦”的观点的启发，假设 ICL 取决于任务相关表征的成功在线解耦。为测试这一想法，我们研究 LLM 如何对其自身内部表征已知结构的标签由模型定义的情境示例进行分类。我们表明，ICL 性能与底层分类任务的表征结构呈系统性相关性，而成功的 ICL 伴随几何重新组织以增加在线可分离性。我们进一步发现，LLM 行为可以用类似原型的数据库算法来描述，该算法在整合证据的同时重塑表征以支持分类。这些发现为预训练 LLM 中的 ICL 提供了几何解释，建立了表征几何作为 ICL 机制约束的模型，并量化了预训练表征所能提供的与情境学习能够利用的之间的差距。
引用
@article{arxiv.2605.28854,
title = {Large language models reorganize representational geometry during in-context learning},
author = {Hua-Dong Xiong and Li Ji-An and Robert C. Wilson and Kwonjoon Lee and Xue-Xin Wei},
journal= {arXiv preprint arXiv:2605.28854},
year = {2026}
}