ORBIT：通过源调控合并保留生成式检索中的基础语言能力
计算与语言
2026-05-13 v1 信息检索
机器学习
摘要
尽管大语言模型（LLM）开发取得了快速进展，但针对特定任务对其进行微调往往会导致其通用的、基于语言推理能力的灾难性遗忘。本研究在生成式检索（GenRetrieval）任务的背景下调查并解决了这一挑战。在生成式检索微调过程中，我们发现这种遗忘发生得很快，并且与微调后模型和原始模型参数之间的距离相关。基于这些观察，我们提出了ORBIT，一种新颖的方法，它主动跟踪微调后模型权重与初始模型权重之间的距离，并采用权重平均策略，在生成式检索微调期间，当这种模型间距离超过最大阈值时约束模型漂移。我们的结果表明，ORBIT通过优于常见的持续学习基线和同样采用权重平均的相关正则化方法，保留了大量的文本和检索性能。
引用
@article{arxiv.2605.12419,
title = {ORBIT: Preserving Foundational Language Capabilities in GenRetrieval via Origin-Regulated Merging},
author = {Neha Verma and Nikhil Mehta and Shao-Chuan Wang and Naijing Zhang and Alicia Tsai and Li Wei and Lukasz Heldt and Lichan Hong and Ed Chi and Xinyang Yi},
journal= {arXiv preprint arXiv:2605.12419},
year = {2026}
}