通过蒸馏将稠密检索器与 LLM 实用性对齐
信息检索
2026-04-27 v1 人工智能
机器学习
摘要
稠密向量检索是检索增强生成（RAG）的实际支柱，但相似度搜索可能 suffer from 检索精度的局限。相反，利用 LLM 重排的方法往往能实现更优的性能，但计算代价高昂且易受困惑估计中固有的噪声影响。我们提出了实用性对齐嵌入（Utility-Aligned Embeddings, UAE），一个旨在将这些优势整合到实用、高性能检索方法中的框架。我们将检索建模为分布匹配问题，在使用基于困惑度减少得到的实用分布的监督下，训练一个双编码器以模仿该分布。该方法通过 Utility-Modulated InfoNCE 目标将分级实用信号直接注入嵌入空间，而无需在测试时进行 LLM 推理。在 QASPER 数据集上，UAE 在检索 Recall@1 上提升 30.59%，MAP 提升 30.16%，Token F1 提升 17.3%，均显著优于强大的语义基准 BGE-Base。关键的是，UAE 比高效的 LLM 重排方法快 180 倍，同时保持竞争的性能，表明检索与生成式实用性对齐可在规模化场景下实现可靠的上下文检索。
引用
@article{arxiv.2604.22722,
title = {Aligning Dense Retrievers with LLM Utility via DistillationAligning Dense Retrievers with LLM Utility via Distillation},
author = {Rajinder Sandhu and Di Mu and Cheng Chang and Md Shahriar Tasjid and Himanshu Rai and Maksims Volkovs and Ga Wu},
journal= {arXiv preprint arXiv:2604.22722},
year = {2026}
}