GRU：缓解 LLM 中遗忘与保留的权衡
机器学习
2025-06-06 v3 计算与语言
摘要
大型语言模型（LLM）的机器遗忘已证明其在移除隐私和版权相关响应方面的关键作用，这对于其合法和安全应用至关重要。然而，追求完全遗忘往往会因其对模型通用功能的损害而带来巨大代价，导致遗忘与保留之间出现臭名昭著的权衡。这促使本文探索能够缓解这种权衡的增强遗忘方案。具体而言，我们提出了梯度修正遗忘（GRU），这是一种改进的框架，在遗忘过程中调节梯度更新的方向，从而使其对其他无关响应的副作用最小化。GRU 易于实现且具有通用性，在多种成熟的遗忘基准测试中展示了实际有效性。
引用
@article{arxiv.2503.09117,
title = {GRU: Mitigating the Trade-off between Unlearning and Retention for LLMs},
author = {Yue Wang and Qizhou Wang and Feng Liu and Wei Huang and Yali Du and Xiaojiang Du and Bo Han},
journal= {arXiv preprint arXiv:2503.09117},
year = {2025}
}