语言模型如何进行函数组合？
计算与语言
2026-05-11 v2 人工智能
摘要
尽管大型语言模型（LLMs）似乎在解决组合任务方面日益有能力，但它们是否使用组合机制仍是一个未解决的问题。本文我们研究如何通过组合机制解决两步事实回忆任务，这类任务可表述为g(f(x))。首先我们确认现代LLMs仍然存在“组合间隙”，即它们计算z = f(x)和y = g(z)的能力并不意味着计算组合y = g(f(x))的能力。随后我们解码残差流表示，并识别出两种处理机制：一种以组合方式解决任务，即在计算g(f(x))的过程中计算f(x)；另一种以直接方式解决任务，即没有任何中间变量f(x)的可检测迹象。最后我们发现，嵌入空间的几何强烈地与所采用机制有关，其中当任务在嵌入空间中表示为从x到g(f(x))的平移时，习惯性机制占主导地位。我们完全公开了数据和代码：https://github.com/apoorvkh/composing-functions
引用
@article{arxiv.2510.01685,
title = {How Do Language Models Compose Functions?},
author = {Apoorv Khandelwal and Ellie Pavlick},
journal= {arXiv preprint arXiv:2510.01685},
year = {2026}
}