LetheViT：通过注意力引导对比学习实现视觉Transformer的选择性机器遗忘
计算机视觉与模式识别
2025-08-05 v1 机器学习
摘要
视觉Transformer(ViT)以其卓越的性能革新了计算机视觉任务。然而，GDPR和CCPA等隐私法规的引入给它们带来了新的挑战。这些法律赋予用户撤回其数据的权利，这不仅需要删除数据，还需要从训练模型中完全移除其影响。机器遗忘应运而生，成为一种关键解决方案，其中精确遗忘在计算上不可行，而近似方法则提供了一种更实用的途径。本工作解决了ViT中极具挑战性的随机数据遗忘场景，即模型必须遗忘特定样本同时保留其他样本，即使这些样本属于同一类别。我们首先通过选择性掩码实验揭示了ViT的核心特征：当高注意力区域被掩码时，模型保留了其识别能力，但显著削弱了其记忆能力。基于上述见解，我们提出了LetheViT，一种专为ViT设计的对比遗忘方法。LetheViT使用掩码图像输入生成正逻辑值，使用原始图像输入生成负逻辑值，引导模型遗忘特定细节，同时保留一般的类别轮廓。实验结果表明，LetheViT达到了最先进的性能，有效平衡了隐私合规性与模型效能。
引用
@article{arxiv.2508.01569,
title = {LetheViT: Selective Machine Unlearning for Vision Transformers via Attention-Guided Contrastive Learning},
author = {Yujia Tong and Tian Zhang and Jingling Yuan and Yuze Wang and Chuang Hu},
journal= {arXiv preprint arXiv:2508.01569},
year = {2025}
}