基于单层去学习梯度的精准遗忘
机器学习
2025-06-02 v3
摘要
机器遗忘方法旨在从训练好的模型中移除敏感或不必要的内容，但通常需要大量的模型更新，计算成本高昂，同时可能降低模型在相关与不相关任务上的性能。我们提出单层去学习梯度（Single Layer Unlearning Gradient, SLUG）作为一种高效方法，通过更新单个关键层以实现针对性信息的去学习。SLUG 使用层重要性和梯度对齐指标来识别最佳去学习层，以保持模型实用性。我们在 CLIP、Stable Diffusion 和视觉语言模型（VLM）上展示了 SLUG 的有效性，成功去除具体（如身份特征和物体）与抽象（如艺术风格）概念。 在 UnlearnCanvas 基准测试中，SLUG 在计算资源消耗上显著低于现有方法，同时实现了相当的去学习性能。我们提出的方法为精准且计算高效的针对性遗忘提供了实用解方。我们的代码已公开于 https://github.com/CSIPlab/SLUG。
引用
@article{arxiv.2407.11867,
title = {Targeted Unlearning with Single Layer Unlearning Gradient},
author = {Zikui Cai and Yaoteng Tan and M. Salman Asif},
journal= {arXiv preprint arXiv:2407.11867},
year = {2025}
}
备注
Accepted to ICML 2025