不可学样本带来虚假的数据隐私感：理解与再学习
计算机视觉与模式识别
2025-04-15 v2
摘要
不可学样本被提出用于防止第三方利用未授权数据，其通过对公开发布的数据添加难以察觉的扰动来生成不可学样本。这些不可学样本熟练地误导模型训练过程，使模型聚焦于学习扰动特征而忽略图像的语义特征。在本文中，我们进行了深入分析并观察到，模型在训练早期阶段能够同时学习不可学样本的图像特征和扰动特征，但由于浅层倾向于学习扰动特征并将有害激活传播到更深层，模型会迅速陷入扰动特征学习中。基于这些观察，我们提出了渐进式分阶段训练（Progressive Staged Training），一种专门设计用于破解不可学样本的自适应训练框架。所提出的框架有效防止模型陷入学习扰动特征。我们在多个模型架构和不同数据集（如 CIFAR-10、CIFAR-100 和 ImageNet-mini）上评估了我们的方法。我们的方法规避了文献中所有最先进方法的不可学性，揭示出现有的不可学样本给出了虚假的隐私保护感，并为不可学技术的进一步评估提供了可靠基线。
引用
@article{arxiv.2306.02064,
title = {Unlearnable Examples Give a False Sense of Data Privacy: Understanding and Relearning},
author = {Pucheng Dang and Xing Hu and Kaidi Xu and Jinhao Duan and Di Huang and Husheng Han and Rui Zhang and Zidong Du},
journal= {arXiv preprint arXiv:2306.02064},
year = {2025}
}