Gumbel 重排序：可微分端到端重排序器优化
计算与语言
2025-06-10 v2 信息检索
摘要
检索增强生成（RAG）系统依赖重排序器来识别相关文档。然而，由于标注查询-文档对的稀缺性，对这些模型进行微调仍然具有挑战性。现有的基于蒸馏的方法存在训练-推理不一致的问题，且无法捕捉候选文档之间的相互依赖关系。为了克服这些限制，我们将重排序过程重新表述为注意力掩码问题，并提出了 Gumbel Reranking，一个旨在最小化训练-推理差距的重排序器端到端训练框架。在我们的方法中，重排序器优化被重新表述为使用 Gumbel Trick 和 Relaxed Top-k 采样学习一个随机的、文档级别的 Top-k 注意力掩码。该公式通过最小化总体语言损失实现了端到端优化。在各种设置下的实验一致地展示了性能提升，包括在 HotpotQA 上区分间接相关文档时召回率提升了 10.4%。
引用
@article{arxiv.2502.11116,
title = {Gumbel Reranking: Differentiable End-to-End Reranker Optimization},
author = {Siyuan Huang and Zhiyuan Ma and Jintao Du and Changhua Meng and Weiqiang Wang and Jingwen Leng and Minyi Guo and Zhouhan Lin},
journal= {arXiv preprint arXiv:2502.11116},
year = {2025}
}
备注
ACL 2025 Main