MixLoRA-DSI：面向动态语料库的可扩展混合 LoRA 专家用于无重hearsal 生成式检索
信息检索
2025-07-15 v1 人工智能
计算与语言
机器学习
摘要
在资源受限条件下，对基于模型的生成式检索索引进行持续更新仍具有挑战性，因为全量重新训练计算成本高昂且不切实际。我们提出 MixLoRA-DSI，一种新型框架，将可扩展的 LoRA 专家混合方案与基于层级离群点 (OOD) 的扩展策略相结合。与为每个新语料库分配新专家不同，我们的扩展策略通过仅在检测到大量 OOD 文档时有选择地引入新专家，从而实现亚线性参数增长。在 NQ320k 和 MS MARCO Passage 上的实验表明，MixLoRA-DSI 在保持最小参数开销的同时，显著优于全模型更新基线，训练成本大幅降低。
引用
@article{arxiv.2507.09924,
title = {MixLoRA-DSI: Dynamically Expandable Mixture-of-LoRA Experts for Rehearsal-Free Generative Retrieval over Dynamic Corpora},
author = {Tuan-Luc Huynh and Thuy-Trang Vu and Weiqing Wang and Trung Le and Dragan Gašević and Yuan-Fang Li and Thanh-Toan Do},
journal= {arXiv preprint arXiv:2507.09924},
year = {2025}
}