通过迭代与邻域辅助模型编辑解决欠编辑与过编辑问题
计算与语言
2025-10-02 v3 人工智能
机器学习
摘要
大型语言模型（LLM）在下游任务中被广泛部署，但通过重新训练或微调保持其知识更新往往计算成本高昂。模型编辑提供了一种更高效的替代方案，通过更新目标参数子集来更新知识，该方案通常遵循定位-编辑范式。尽管这种效率很高，但现有方法存在局限：编辑可能无法注入知识（欠编辑，UnderEdit）或意外破坏无关的邻域知识（过编辑，OverEdit）。为应对这些挑战，我们提出两种互补方法：迭代模型编辑，通过连续编辑来缓解欠编辑问题；以及邻域辅助模型编辑，在编辑过程中融入邻域知识以减少过编辑。我们的广泛实验表明，这些技术在多种 LLM、算法和基准数据集上提升了编辑性能，将欠编辑降低最多 38 个百分点，过编辑降低最多 6 个百分点，同时广泛适用于任何定位-编辑方法。我们在 https://github.com/bhimanbaghel/ResolveUnderOverEdit 发布了代码。
引用
@article{arxiv.2503.11895,
title = {Resolving UnderEdit & OverEdit with Iterative & Neighbor-Assisted Model Editing},
author = {Bhiman Kumar Baghel and Emma Jordan and Zheyuan Ryan Shi and Xiang Lorraine Li},
journal= {arXiv preprint arXiv:2503.11895},
year = {2025}
}
备注
Accepted at EMNLP 2025 as Findings