鲁棒编辑的关键：从理论洞察到实践进展
计算与语言
2025-05-23 v2
摘要
大型语言模型由于冲突或过时的参数化记忆，在保持准确知识方面存在困难。虽然定位与编辑方法解决了这个问题，但它们对模型内部表示的依赖导致了在长上下文推理和释义查询中的鲁棒性失败。我们确定了定位与编辑方法的一个根本局限性：现有的语义键（用于记忆定位）无法同时满足鲁棒性（上下文不变的激活）和特异性（精确的知识区分）。通过理论误差界分析，我们建立了有效编辑的形式化标准。我们的解决方案引入了鲁棒编辑路径，这是一个即插即用模块，它能够：(1) 将编辑键从原生模型表示中解耦；(2) 通过对比学习动态调整键以实现鲁棒性-特异性平衡。在各种编辑方法（ROME/MEMIT/R-ROME/EMMET）、现有大型语言模型（LLaMA2、QWen、Mistral）和数据集（CounterFact、ZsRE）上进行的大量实验表明，鲁棒编辑路径在鲁棒性测试上的成功率提高了高达66.4%，同时保持了成功率不受影响。我们的代码可在 https://github.com/ElliottYan/RobustKeyEdit 获取。
引用
@article{arxiv.2410.09338,
title = {Keys to Robust Edits: from Theoretical Insights to Practical Advances},
author = {Jianhao Yan and Futing Wang and Yun Luo and Yafu Li and Yue Zhang},
journal= {arXiv preprint arXiv:2410.09338},
year = {2025}
}
备注
ACL 2025 Main Conference