Recover-to-Forget：基于 LoRA 梯度重建的高效 LLM 遗忘方法
机器学习
2025-12-09 v1 计算与语言
摘要
大型基础模型（如 LLM）中的遗忘对于实现动态知识更新、执行数据删除权利以及纠正模型行为至关重要。然而，现有的遗忘方法通常需要全模型微调或访问原始训练数据，这限制了其可扩展性和实用性。在本工作中，我们提出了 Recover-to-Forget（R2F），一个基于从低秩 LoRA 适配器更新中重建全模型梯度方向的高效 LLM 遗忘框架。我们无需通过全模型进行反向传播，而是使用多个释义提示计算 LoRA 参数的梯度，并训练一个梯度解码器来近似对应的全模型梯度。为确保适用于更大或黑盒模型，解码器在代理模型上训练并迁移至目标模型。我们提供了跨模型泛化的理论分析，并证明我们的方法在保持通用模型性能的同时实现了有效的遗忘。实验结果表明，R2F 为预训练 LLM 的遗忘提供了一种可扩展且轻量的替代方案，无需全模型重训练或访问内部参数。
引用
@article{arxiv.2512.07374,
title = {Recover-to-Forget: Gradient Reconstruction from LoRA for Efficient LLM Unlearning},
author = {Yezi Liu and Hanning Chen and Wenjun Huang and Yang Ni and Mohsen Imani},
journal= {arXiv preprint arXiv:2512.07374},
year = {2025}
}