面向预训练视觉模型的实用持续遗忘
计算机视觉与模式识别
2026-01-13 v2 人工智能
机器学习
摘要
出于隐私和安全的考虑，如今从预训练视觉模型中擦除不需要的信息的需求日益凸显。在真实场景中，擦除请求随时来自用户和模型所有者，且这些请求通常构成一个序列。因此，在这种设定下，期望从预训练模型中持续移除选择性信息，同时保留其余信息。我们将此问题定义为持续遗忘，并指出三个关键挑战。(i) 对于不需要的知识，高效且有效的删除至关重要。(ii) 对于保留的知识，遗忘过程带来的影响应尽可能小。(iii) 在真实场景中，遗忘过程中的训练样本可能稀缺或部分缺失。为解决这些问题，我们首先提出 Group Sparse LoRA (GS-LoRA)。具体而言，针对 (i)，我们引入 Low-Rank Adaptation (LoRA) 模块，针对每个遗忘任务独立微调 Transformer 块中的 Feed-Forward Network (FFN) 层；针对 (ii)，采用简单的群稀疏正则化，实现自动选择特定 LoRA 组并将其余组置零。为了进一步将 GS-LoRA 扩展到更实际的场景，我们结合原型信息作为额外监督，并引入了一种更实用的方法 GS-LoRA++。对于每个被遗忘的类别，我们将其 logits 推离原始原型。对于保留的类别，我们将其 logits 拉近各自的原型。我们在人脸识别、目标检测和图像分类上进行了大量实验，证明我们的方法能够遗忘特定类别，同时对其他类别的影响最小。代码已发布于 https://github.com/bjzhb666/GS-LoRA。
引用
@article{arxiv.2501.09705,
title = {Practical Continual Forgetting for Pre-trained Vision Models},
author = {Hongbo Zhao and Fei Zhu and Bolin Ni and Feng Zhu and Gaofeng Meng and Zhaoxiang Zhang},
journal= {arXiv preprint arXiv:2501.09705},
year = {2026}
}
备注
Accepted by TPAMI. arXiv admin note: substantial text overlap with arXiv:2403.11530