$\text{R}^2\text{R}$: 多域解码器专用重排序器的路由-重排序后训练框架
计算与语言
2025-11-26 v1 信息检索
摘要
解码器专用重排序器是检索增强生成（RAG）的核心组件。然而，通用模型在诸如金融和法律等高风险领域的细微差异上会走样，过于简单的微调会导致表面形式过拟合和灾难性遗忘。为此，我们引入R2R，一个结合动态专家路由与两阶段训练策略的领域感知框架，称为实体抽象以实现通用性（EAG）。EAG通过遮蔽最具预测性的表面线索，引入反向短路机制，迫使重排序器学习领域不变的相关性模式而非记忆数据集特定实体。为高效激活领域专家，R2R采用轻量级潜在语义路由器，从冻结的 backbone 解码器内部表征中探测以选择最佳的 LoRA 专家 per query。广泛的实验在不同的重排序器 backbone 和多样化领域（法律、医疗和金融）中表明，R2R consistently 超过通用和单域微调基准。我们的结果表明，R2R是一种模型中性且模块化的领域专业化方法，具备强大的跨域鲁棒性。
引用
@article{arxiv.2511.19987,
title = {$\text{R}^2\text{R}$: A Route-to-Rerank Post-Training Framework for Multi-Domain Decoder-Only Rerankers},
author = {Xinyu Wang and Hanwei Wu and Qingchen Hu and Zhenghan Tai and Jingrui Tian and Lei Ding and Jijun Chi and Hailin He and Tung Sum Thomas Kwok and Yufei Cui and Sicheng Lyu and Muzhi Li and Mingze Li and Xinyue Yu and Ling Zhou and Peng Lu},
journal= {arXiv preprint arXiv:2511.19987},
year = {2025}
}
备注
13 pages, including 3 figures and 3 tables