检索头部是动态的
计算与语言
2026-05-11 v2
摘要
近期研究在大型语言模型（LLM）中识别了负责从输入上下文中提取信息的"检索头部"，但先前工作大多依赖于跨数据集聚合的静态统计，仅识别在平均意义上执行检索的头部。这种视角忽略了自回归生成中检索头部的细粒度时序动态性。本文从动态视角探讨检索头部。通过大规模分析，我们确立了三个核心论点：（1）动态性：检索头部在不同时间步之间呈现动态变化；（2）不可替代性：动态检索头部在每个时间步都具有特定性，无法被静态检索头部有效替代；（3）相关性：模型的隐藏状态编码了对未来检索头部模式的预测信号，指示其内部规划机制。我们在 Needle-in-a-Haystack 任务和多跳问答任务上验证了这些发现，并量化了动态检索头部与静态检索头部在动态检索增强生成框架中实用性差异。我们的研究为理解大型语言模型内部机制提供了新视角。
引用
@article{arxiv.2602.11162,
title = {Retrieval Heads are Dynamic},
author = {Yuping Lin and Zitao Li and Yue Xing and Pengfei He and Yingqian Cui and Yaliang Li and Bolin Ding and Jingren Zhou and Jiliang Tang},
journal= {arXiv preprint arXiv:2602.11162},
year = {2026}
}
备注
Accepted at ACL 2026