ECLIPSE：基于伪不相关反馈的对比维度重要性估计用于稠密检索
信息检索
2024-12-20 v1
摘要
信息检索的最新进展利用高维嵌入空间来提高相关文档的检索效果。此外，流形聚类假设表明，尽管存在这些高维表示，但与查询相关的文档位于低维、查询依赖的流形上。虽然该假设激发了新的检索方法，但现有方法仍面临在有效分离非相关信息和相关信号方面存在挑战。我们提出了一种新方法，通过利用来自相关和非相关文档的信息来解决这些限制。我们的方法ECLIPSE计算来自无关文档的质心作为参考，以估计相关文档中存在的噪声维度，从而提高检索性能。在三个域内和一个域外基准上的大量实验表明，相对于基于DIME的基线（或使用所有维度的基线），在mAP(AP)和nDCG@10上分别实现了最高达19.50%（或22.35%）和11.42%（或13.10%）的平均提升。我们的结果为未来的IR研究铺平了更稳健、基于伪不相关反馈的检索系统的道路。
引用
@article{arxiv.2412.14967,
title = {ECLIPSE: Contrastive Dimension Importance Estimation with Pseudo-Irrelevance Feedback for Dense Retrieval},
author = {Giulio D'Erasmo and Giovanni Trappolini and Nicola Tonellotto and Fabrizio Silvestri},
journal= {arXiv preprint arXiv:2412.14967},
year = {2024}
}