知识冲突失效的覆盖间隙：关于超大网络即时 LLM 适应的大小agnitude 解释
摘要
超大网络方法如 Doc-to-LoRA 在单次前向传递中将文档内化为 LLM 的权重，但在冲突情形下系统性失败：当文档与预训练知识相矛盾时，准确率会降至最深层事实的 46.4%。我们表明，失败是 magnitude 问题而非 representational 问题。超大网络已经针对正确的层进行了 targeting，但其适配器 margin 在不同文档间大致恒定，而预训练 margin 随训练频率增长，所以深层冲突因构造而失之。该模型预测失败应跟踪 prior 强度：对 194 项冲突按 base 模型对矛盾事实的对数概率排序，baseline 准确率从弱 prior 问题的 68% 下降至强 prior 问题的 16%，出现 52 个百分点间隙。治疗方法是 amplitude。选择性层提升在其 top-norm 层上放大适配器，冲突感知内化仅在 base 模型确信时触发提升。两者均为 training-free; 两者共同将 deep-conflict 准确率从 Gemma-2B 上的 46.4% 提升至 71.0%，从 Mistral-7B 上的 53.6% 提升至 72.5%，同时保持 novel-knowledge recall，并在 medium 冲突上超过 vanilla 检索增强生成 18 个百分点，尽管完全在参数空间内操作。我们发布 KID-Bench，一个包含 489 题的基准，separates novel recall、cross-knowledge combination 和 prior-graded conflicts。
引用
@article{arxiv.2604.23750,
title = {The Override Gap: A Magnitude Account of Knowledge Conflict Failure in Hypernetwork-Based Instant LLM Adaptation},
author = {Shuaizhi Cheng and Xiang Shi and Zhiwei Zhang and Mingwei Li},
journal= {arXiv preprint arXiv:2604.23750},
year = {2026}
}
备注
35 pages, 15 figures v2: minor layout fixes and author list update