在演化语料库中何时应更新密集检索器？使用 GradNormIR 检测分布外语料库
信息检索
2025-06-03 v1 计算与语言
摘要
密集检索器将文本编码为嵌入，以响应用户查询从大型数据库中高效检索相关文档。然而，现实世界的语料库不断演化，导致检索器偏离其原始训练分布。若不及时更新或重训练，对新出现文档进行索引可能会降低未来查询的检索性能。因此，识别密集检索器何时需要更新对于维持稳健的检索系统至关重要。在本文中，我们提出了一项新任务：在索引之前预测语料库相对于密集检索器是否为分布外（OOD）。解决这一任务使我们能够主动管理检索器更新，防止潜在的检索失败。我们引入了 GradNormIR，这是一种利用梯度范数有效检测 OOD 语料库的无监督方法。在 BEIR 基准上的实验表明，GradNormIR 能够在演化的文档集合中及时更新密集检索器，显著增强了检索的稳健性和效率。
引用
@article{arxiv.2506.01877,
title = {When Should Dense Retrievers Be Updated in Evolving Corpora? Detecting Out-of-Distribution Corpora Using GradNormIR},
author = {Dayoon Ko and Jinyoung Kim and Sohyeon Kim and Jinhyuk Kim and Jaehoon Lee and Seonghak Song and Minyoung Lee and Gunhee Kim},
journal= {arXiv preprint arXiv:2506.01877},
year = {2025}
}
备注
ACL 2025 Findings