学习将查询路由至注意力头：基于大语言模型的注意力重排序
信息检索
2026-04-28 v1 人工智能
计算与语言
摘要
近期，大语言模型（LLMs）被探索作为细粒度的零样本重排序器，利用注意力信号来估计文档相关性。然而，现有方法要么聚合所有头的注意力信号，要么依赖通过启发式规则静态选择的子集。这种方案可能并非最优，因为提供信息的头可能因查询或领域的不同而变化。此外，由于冗余或冲突的排序信号，简单组合多个头可能会降低性能。在本文中，我们提出了一种依赖于查询的头选择方法 RouteHead，用于基于 LLM 的注意力重排序。具体而言，我们学习一个轻量级路由器，可以将每个查询映射到最优的头集合，并且仅通过聚合这些头的注意力信号来计算相关性得分。由于查询到头的最优标签不可用，我们首先通过离线搜索构建伪标签。该路由器使用可学习的嵌入表示每个头，并使用从冻结的 LLM 隐藏状态中提取的嵌入表示每个查询。然后，它在带有稀疏正则化项的伪标签上进行训练。在多样化基准测试和多个 LLM 主干上的实验表明，所提出的方法始终优于强基线。
引用
@article{arxiv.2604.24608,
title = {Learning to Route Queries to Heads for Attention-based Re-ranking with Large Language Models},
author = {Yuxing Tian and Fengran Mo and Zhiqi Huang and Weixu Zhang and Jian-Yun Nie},
journal= {arXiv preprint arXiv:2604.24608},
year = {2026}
}
备注
Accepted by SIGIR 2026