解耦蒸馏以抹除：面向任何类别中心任务的通用遗忘方法

本文提出 Decoupled Distillation to Erase (DELETE)，一种面向任何类别中心任务的通用且强大的遗忘方法。为此，我们首先提出理论框架以分析遗忘损失的通用形式，并将其分解为遗忘项与保留项。在理论框架下，我们指出一类先前方法主要可形式化为仅隐式优化遗忘项且缺乏对保留项监督的损失函数，这干扰了预训练模型的分布，难以充分保留剩余类别的知识。为此，我们改进保留项以运用 "dark knowledge"，并提出一种掩码蒸馏遗忘方法。通过对遗忘逻辑输出与保留逻辑输出施加掩码，本方法同时优化遗忘与改进后保留组件，既确保目标类别的彻底遗忘，又保留剩余类别的知识。无需访问剩余数据或干预（即部分工作中已使用），我们在各种基准测试上实现了最先进的性能。此外，DELETE 是一种通用解决方案，可应用于各种下游任务，包括人脸识别、后门防御和语义分割，性能卓著。