面向大语言模型的几何知识编辑
计算与语言
2025-05-27 v2
摘要
保持大语言模型 (LLM) 中知识的更新对于维持其时效性至关重要。因此，开发了各种模型编辑方法来更新 LLM 中的特定知识。然而，基于训练的方法往往难以在不损害无关通用知识的情况下有效地纳入新知识。为此，我们提出了一种名为几何知识编辑 (GeoEdit) 的新型框架。GeoEdit 利用微调参数更新的几何关系来区分与新知识更新相关的神经元与与一般知识扰动相关的神经元。通过采用方向感知的知识识别方法，我们避免更新与现有知识大致正交的神经元，从而保留模型的泛化能力。对于剩余的神经元，我们集成旧知识和新知识以获得对齐的方向，并对相反的方向应用“忘记后再学习”编辑策略。此外，我们引入一种基于重要性的任务向量融合技术，可过滤冗余信息并提供自适应的神经元级加权，从而进一步提高模型编辑性能。在两个公开可用数据集上的广泛实验表明，GeoEdit 在现有 SOTA 方法方面具有优势。
引用
@article{arxiv.2502.19953,
title = {GeoEdit: Geometric Knowledge Editing for Large Language Models},
author = {Yujie Feng and Liming Zhan and Zexin Lu and Yongxin Xu and Xu Chu and Yasha Wang and Jiannong Cao and Philip S. Yu and Xiao-Ming Wu},
journal= {arXiv preprint arXiv:2502.19953},
year = {2025}
}