模型合并在特定领域即时检索中的效果
信息检索
2025-09-29 v1
摘要
在本研究中，我们评估了模型合并在即时检索任务中的效果。模型合并是一种融合多个模型多样化特征的技术。我们假设将模型合并应用于特定领域的即时检索任务能够提升检索有效性。为验证该假设，我们采用线性插值方法融合了源检索模型与特定领域（非检索）模型的权重。该方法的一个关键优势在于无需对模型进行额外微调。我们在医学和日语领域各进行了两项实验。第一项实验将合并后的模型与源检索模型进行比较，第二项实验在模型构建的全量数据和有限数据设置下将其与 LoRA 微调模型进行比较。实验结果表明，模型合并有潜力产生比源检索模型更有效的特定领域检索模型，并且在数据量有限时可作为 LoRA 微调的实用替代方案。
引用
@article{arxiv.2509.21966,
title = {Effect of Model Merging in Domain-Specific Ad-hoc Retrieval},
author = {Taiga Sasaki and Takehiro Yamamoto and Hiroaki Ohshima and Sumio Fujita},
journal= {arXiv preprint arXiv:2509.21966},
year = {2025}
}
备注
Accepted at CIKM 2025, 5 pages