ResRank：通过残差 passage 压缩实现检索与列表级重排序的端到端联合训练
信息检索
2026-04-27 v1 人工智能
摘要
基于大语言模型（LLM）的列表级重排序已成为实现最先进排序效果的主导范式，但其依赖将完整段落文本输入 LLM 引入了两个关键瓶颈：随着输入长度增长，"lost in the middle" 现象会降低排序质量；推理延迟随序列长度超线性增长，导致难以用于工业部署。为此，本文提出 ResRank，一个统一的检索-重排序框架，从根本上解决上述挑战。灵感来自多模态 LLM 将视觉输入投影到紧凑 token 表示的做法，ResRank 采用 Encoder-LLM 将每个候选段落压缩为单个嵌入向量，再输入至 Reranker-LLM 进行列表级排序。为缓解压缩表示空间与排序空间之间的错位，我们引入残差连接结构，将编码器嵌入与重排序器的上下文化隐藏状态组合。此外，我们取代常规自回归解码，采用一种基于余弦相似性的单步骤评分机制，彻底消除生成瓶颈。ResRank 通过精心设计的双阶段、多任务、端到端联合优化策略进行训练，同时训练编码器与重排序器，实现检索与重排序目标之间的学习目标对齐，显著降低训练复杂度。广泛的实验在 TREC Deep Learning 与八个 BEIR 基准数据集上表明，ResRank 在实现竞争或优于现有方法的排序效果方面表现出色，同时无需生成任何 token，仅处理每个段落一个 token，实现了效果与效率之间极佳的平衡。
引用
@article{arxiv.2604.22180,
title = {ResRank: Unifying Retrieval and Listwise Reranking via End-to-End Joint Training with Residual Passage Compression},
author = {Xiaojie Ke and Shuai Zhang and Liansheng Sun and Yongjin Wang and Hengjun Jiang and Xiangkun Liu and Cunxin Gu and Jian Xu and Guanjun Jiang},
journal= {arXiv preprint arXiv:2604.22180},
year = {2026}
}