缓解大语言模型知识编辑中的异构令牌过拟合
计算与语言
2025-05-29 v2 机器学习
摘要
大语言模型（LLMs）在各种自然语言任务上取得了显著性能。然而，它们是在静态语料库上训练的，其知识在快速变化的世界中可能很快过时。这推动了知识编辑（KE）的发展，以更新 LLM 中的特定知识，同时不改变其他无关知识或损害其预训练能力。先前的工作试图更新 LLM 的少量参数，并证明对进行选择性更新有效。尽管如此，编辑后的 LLM 常常表现出推理新知识的能力下降。在这项工作中，我们识别出一个关键问题：异构令牌过拟合（HTO），即 LLM 以不同速率过拟合所提供知识中的不同令牌。为解决此问题，我们提出 OVERTONE，一种令牌级平滑方法，通过自适应地细化目标分布来缓解 HTO。理论上，OVERTONE 以可忽略的计算开销提供了更好的参数更新。它还诱导了一种隐式 DPO，但不需要偏好数据对。在四种编辑方法、两个 LLM 和多种场景上的大量实验证明了我们方法的有效性和通用性。
引用
@article{arxiv.2502.00602,
title = {Mitigating Heterogeneous Token Overfitting in LLM Knowledge Editing},
author = {Tianci Liu and Ruirui Li and Zihan Dong and Hui Liu and Xianfeng Tang and Qingyu Yin and Linjun Zhang and Haoyu Wang and Jing Gao},
journal= {arXiv preprint arXiv:2502.00602},
year = {2025}
}
备注
ICML 2025