稳定不可学样本：通过稳定误差最小化噪声增强不可学样本的鲁棒性
机器学习
2024-01-02 v2 密码学与安全
计算机视觉与模式识别
摘要
大量图像数据的开源促进了深度学习技术的发展。随之而来的是这些开源图像数据集被未经授权的第三方利用以训练深度学习模型用于商业或非法目的所带来的隐私风险。为避免公共数据被滥用，一种基于投毒的技术——不可学样本（unlearnable example）被提出，通过对数据添加一类不可感知的噪声来显著削弱模型的泛化性能。为进一增强其针对对抗训练的鲁棒性，现有工作对防御噪声与替代模型均施加迭代对抗训练。然而，不可学样本的鲁棒性究竟主要来自替代模型的增强效应还是防御噪声，仍属未知。观察到在防御噪声的训练过程中简单移除对抗噪声即可提升鲁棒不可学样本的性能，我们确认仅替代模型的鲁棒性对性能有贡献。此外，我们发现防御噪声的鲁棒性与保护性能之间存在负相关，表明防御噪声存在不稳定性问题。受此启发，为进一步提升鲁棒不可学样本，我们引入稳定误差最小化噪声（SEM），其以随机扰动而非耗时的对抗扰动训练防御噪声，从而改善防御噪声的稳定性。通过大量实验，我们证明SEM在CIFAR-10、CIFAR-100与ImageNet Subset上就有效性与效率均取得了新的最先进（SOTA）性能。代码见 https://github.com/liuyixin-louis/Stable-Unlearnable-Example。
引用
@article{arxiv.2311.13091,
title = {Stable Unlearnable Example: Enhancing the Robustness of Unlearnable Examples via Stable Error-Minimizing Noise},
author = {Yixin Liu and Kaidi Xu and Xun Chen and Lichao Sun},
journal= {arXiv preprint arXiv:2311.13091},
year = {2024}
}
备注
Accepted to AAAI 2024