Neuro-RIT：神经元引导的指令微调用于鲁棒检索增强语言模型
计算与语言
2026-04-03 v1 人工智能
摘要
检索增强语言模型（RALM）在知识密集型任务中展现出显著潜力；然而，当呈现无关或噪声检索上下文时，其性能仍会退化。现有增强鲁棒性的方法通常通过层或模块级别的粗粒度参数更新来操作，往往忽视了大型语言模型（LLM）固有的神经元级稀疏性。为解决这一局限，我们提出 Neuro-RIT（神经元引导的鲁棒指令微调），一种将范式从密集适配转向精确驱动的神经元对齐的新框架。我们的方法通过基于归因的神经元挖掘，明确区分负责处理相关上下文与无关上下文的神经元。随后，我们引入两阶段指令微调策略，强制实现噪声鲁棒性的双重能力：通过功能上去激活仅属于无关上下文的神经元实现直接噪声抑制，同时优化目标层以进行证据蒸馏。在多样化 QA 基准上的广泛实验表明，Neuro-RIT 一致地优于强基线和鲁棒性增强方法。
引用
@article{arxiv.2604.02194,
title = {Neuro-RIT: Neuron-Guided Instruction Tuning for Robust Retrieval-Augmented Language Model},
author = {Jaemin Kim and Jae O Lee and Sumyeong Ahn and Seo Yeon Park},
journal= {arXiv preprint arXiv:2604.02194},
year = {2026}
}