解决模型编辑中的词汇偏差
计算与语言
2025-10-10 v3
摘要
模型编辑旨在修改大型语言模型训练后的输出。先前的研究方法通常涉及直接修改模型权重，这可能导致模型退化。近期的技术通过使用适配器在表示空间中由语义相似性触发编辑，从而避免了对模型权重的修改。我们证明当前的适配器方法严重依赖于词汇偏差，导致诸如对具有重叠词汇的不相关提示应用编辑等问题。本文提出了一种原则性的方法，用于学习解耦的表示空间，通过在不相关提示之间保持距离同时保留同义改写之间的接近性，实现编辑的精确定位。在我们的实证研究中，我们的方法（Projector Editor Networks for Model Editing——PENME）在模型编辑任务上达到了最先进的结果，同时在推理过程中比先前方法具有更高的计算效率，并且能够适配不同的架构。
引用
@article{arxiv.2408.10411,
title = {Resolving Lexical Bias in Model Editing},
author = {Hammad Rizwan and Domenic Rosati and Ga Wu and Hassan Sajjad},
journal= {arXiv preprint arXiv:2408.10411},
year = {2025}
}