面向稠密检索的测试时查询表示优化
计算与语言
2023-05-30 v3 信息检索
摘要
稠密检索的近期进展依赖于来自预训练查询和上下文编码器的查询与上下文的高质量表示。本文引入 TOUR（查询表示的测试时优化，Test-Time Optimization of Query Representations），其进一步在测试时检索结果的信号引导下优化实例级查询表示。我们利用交叉编码器重排序器在检索结果上提供细粒度伪标签，并通过梯度下降迭代优化查询表示。我们的理论分析表明，TOUR 可视为经典 Rocchio 伪相关反馈算法的推广，并给出了利用伪标签作为硬二元或软连续标签的两种变体。我们首先将 TOUR 应用于短语检索及其所提出的短语重排序器，并使用现成重排序器评估其在段落检索上的有效性。TOUR 大幅提升了端到端开放域问答准确率以及段落检索性能。TOUR 还以高效实现以 1.3-2.4 倍速度持续直接提升重排序达 2.0%。
引用
@article{arxiv.2205.12680,
title = {Optimizing Test-Time Query Representations for Dense Retrieval},
author = {Mujeen Sung and Jungsoo Park and Jaewoo Kang and Danqi Chen and Jinhyuk Lee},
journal= {arXiv preprint arXiv:2205.12680},
year = {2023}
}
备注
Findings of ACL 2023