ModernBERT + ColBERT：通过高级重排检索器增强生物医学 RAG
计算与语言
2025-10-07 v1 定量方法
摘要
检索增强生成（RAG）是一种强大的技术，能够通过外部知识丰富大型语言模型（LLM），从而实现以事实为依据的响应，这在诸如医疗保健等高风险领域中至关重要。然而，RAG 系统的有效性受限于其检索模块的性能，因为不相关或语义不匹配的文档会直接损害最终生成响应的准确性。通用密集检索器可能难以处理专门领域的细腻语言，而高精度的领域内模型往往面临计算成本的限制。在本工作中，我们旨在通过开发和评估一个两阶段检索架构来解决这一权衡，该架构将轻量级 ModernBERT 双向编码器用于高效的初始候选检索，同时采用 ColBERTv2 late-interaction 模型进行细粒度重排。我们对该检索模块和生物医学 RAG 系统的性能进行了全面评估，使用来自 PubMedQA 的 10,000 个问答对对 IR 模块进行微调。我们的分析确认了 ColBERT 重排器的积极影响，该重排器相较于仅执行检索的版本在 Recall@3 上提升了最高可达 4.2 个百分点。当集成到生物医学 RAG 系统后，我们的 IR 模块在 MIRAGE 问答基准的五个任务中实现了 0.4448 的领先准确率，超越了 MedCPT（0.4436）等强基线。我们的消融研究表明，这一性能至关依赖于检索器和重排器的联合微调过程；否则，重排器可能会导致性能下降。
引用
@article{arxiv.2510.04757,
title = {ModernBERT + ColBERT: Enhancing biomedical RAG through an advanced re-ranking retriever},
author = {Eduardo Martínez Rivera and Filippo Menolascina},
journal= {arXiv preprint arXiv:2510.04757},
year = {2025}
}