大语言模型中的函数向量
计算与语言
2024-02-27 v2 机器学习
摘要
我们报告了一种简单的神经机制的存在,该机制在自回归transformer语言模型(LM)中将输入-输出函数表示为一个向量。通过对一系列多样的上下文学习(ICL)任务进行因果中介分析,我们发现少数注意力头传递了所演示任务的紧凑表示,我们称之为函数向量(FV)。FV对上下文变化具有鲁棒性,即它们能在零样本和自然文本设置等不与收集它们的ICL上下文相似的输入上触发任务执行。我们在一系列任务、模型和层中测试了FV,并在中间层中发现了跨设置的强因果效应。我们研究了FV的内部结构,发现虽然它们通常包含编码函数输出空间的信息,但仅凭这些信息不足以重建FV。最后,我们测试了FV中的语义向量组合,发现它们在某种程度上可以相加以创建触发新复杂任务的向量。我们的发现表明,函数抽象的紧凑、因果内部向量表示可以从LLM中显式提取。我们的代码和数据可在https://functions.baulab.info获取。
引用
@article{arxiv.2310.15213,
title = {Function Vectors in Large Language Models},
author = {Eric Todd and Millicent L. Li and Arnab Sen Sharma and Aaron Mueller and Byron C. Wallace and David Bau},
journal= {arXiv preprint arXiv:2310.15213},
year = {2024}
}
备注
ICLR 2024. 52 pages, 30 figures, 23 tables. Code and data at https://functions.baulab.info