FG-OrIU：基于特征-梯度正交性的增量遗忘框架
机器学习
2026-01-21 v1 计算机视觉与模式识别
摘要
增量遗忘（IU）对于预训练模型遵守顺序数据删除请求至关重要，然而现有方法主要抑制参数或混淆知识，在特征和梯度级别上缺乏明确的约束，导致出现残留信息仍可恢复的“表面遗忘”。这种不完全的遗忘会带来安全漏洞风险并破坏保留平衡，在 IU 场景中尤为明显。我们提出了 FG-OrIU（用于增量遗忘的特征-梯度正交性），这是首个在特征和梯度级别统一正交约束以实现深度遗忘的框架，其中遗忘效应是不可逆的。FG-OrIU 通过奇异值分解（SVD）分解特征空间，将遗忘类和保留类特征分离到不同的子空间中。然后它强制执行双重约束：对遗忘类和保留类进行特征正交投影，同时通过梯度正交投影防止在更新过程中重新引入被遗忘的知识以及对保留类的破坏。此外，动态子空间适应合并新的遗忘子空间并收缩保留子空间，确保在顺序遗忘任务中移除和保留之间的稳定平衡。大量实验证明了我们方法的有效性。
引用
@article{arxiv.2601.13578,
title = {FG-OrIU: Towards Better Forgetting via Feature-Gradient Orthogonality for Incremental Unlearning},
author = {Qian Feng and JiaHang Tu and Mintong Kang and Hanbin Zhao and Chao Zhang and Hui Qian},
journal= {arXiv preprint arXiv:2601.13578},
year = {2026}
}
备注
This paper has been accepted by ICCV 2025. code: \url{https://github.com/RAIAN08/FG-OrIU}