预训练视觉模型的持续遗忘
计算机视觉与模式识别
2024-07-19 v2
摘要
出于隐私与安全考虑，从预训练视觉模型中擦除不需要信息的需求如今日益凸显。在现实场景中，擦除请求随时可能来自用户和模型所有者，这些请求通常构成一个序列。因此，在此设定下，期望在保持其余信息的同时，从预训练模型中持续移除选择性信息。我们将此问题定义为持续遗忘，并识别出两个关键挑战：(i) 对于不需要的知识，高效且有效的删除至关重要。(ii) 对于保留的知识，遗忘过程带来的影响应尽可能小。为解决这些问题，我们提出组稀疏 LoRA（GS-LoRA）。具体而言，针对 (i)，我们使用 LoRA 模块对每个遗忘任务独立微调 Transformer 块中的 FFN 层；针对 (ii)，采用简单的组稀疏正则化，自动选择特定的 LoRA 组并将其余组归零。GS-LoRA 有效、参数高效、数据高效且易于实现。我们在人脸识别、目标检测和图像分类上进行了广泛实验，证明 GS-LoRA 能够在遗忘特定类别的同时对其他类别影响极小。代码将发布于 \url{https://github.com/bjzhb666/GS-LoRA}。
引用
@article{arxiv.2403.11530,
title = {Continual Forgetting for Pre-trained Vision Models},
author = {Hongbo Zhao and Bolin Ni and Haochen Wang and Junsong Fan and Fei Zhu and Yuxi Wang and Yuntao Chen and Gaofeng Meng and Zhaoxiang Zhang},
journal= {arXiv preprint arXiv:2403.11530},
year = {2024}
}
备注
Accepted by CVPR 2024, latest version ahead of carema ready version