重新思考混合检索：当小嵌入模型与 LLM 重排序超越更大模型
信息检索
2025-06-03 v1 人工智能
摘要
本文对检索增强生成（RAG）系统中三模态混合检索的嵌入模型进行了比较。我们研究了稠密语义、稀疏词法和基于图的嵌入的融合，重点关注 MiniLM-v6 和 BGE-Large 架构的性能。与常规假设相反，我们的结果表明，在我们的三模态混合框架中，与基于 LLM 的重排序集成时，紧凑的 MiniLM-v6 优于更大的 BGE-Large。在 SciFact、FIQA 和 NFCorpus 数据集上进行的实验表明，MiniLM-v6 配置显著提升了检索质量。这种性能差异在智能体重排序场景中尤为明显，表明 MiniLM-v6 的嵌入空间与 LLM 推理之间具有更好的对齐性。我们的研究结果表明，RAG 系统的嵌入模型选择应优先考虑与多信号融合和 LLM 对齐的兼容性，而不是仅仅依赖更大的模型。这种方法可以在提高检索准确性和效率的同时降低计算需求。
引用
@article{arxiv.2506.00049,
title = {Rethinking Hybrid Retrieval: When Small Embeddings and LLM Re-ranking Beat Bigger Models},
author = {Arjun Rao and Hanieh Alipour and Nick Pendar},
journal= {arXiv preprint arXiv:2506.00049},
year = {2025}
}