通过速率受限的变分自编码器净化不可学习样本
密码学与安全
2024-05-07 v2 人工智能
计算机视觉与模式识别
机器学习
摘要
不可学习样本 旨在通过对正确标记的训练样本进行细微修改来最大化测试误差。针对这些投毒攻击的防御可以根据在训练期间是否采用特定干预措施进行分类。第一种方法是训练时防御，例如对抗训练，它可以减轻投毒影响但计算量大。另一种方法是预训练净化，例如图像短挤压，由几次简单的压缩组成，但在处理各种 UEs 时经常遇到挑战。我们的工作提供了一种新颖的解耦机制来构建高效的预训练净化方法。首先，我们揭示了速率受限的变分自编码器，表现出抑制 UEs 中扰动的明显趋势。随后我们对这一现象进行了理论分析。基于这些见解，我们引入了解耦变分自编码器 (D-VAE)，能够利用可学习的类内嵌入来解耦扰动。基于该网络，自然地开发了一种两阶段净化方法。第一阶段侧重于粗略消除扰动，而第二阶段产生精细的、无投毒的结果，确保在各种场景下的有效性和鲁棒性。大量实验证明了我们的方法在 CIFAR-10、CIFAR-100 和 100 类 ImageNet 子集上的卓越性能。代码可在 https://github.com/yuyi-sd/D-VAE 获取。
引用
@article{arxiv.2405.01460,
title = {Purify Unlearnable Examples via Rate-Constrained Variational Autoencoders},
author = {Yi Yu and Yufei Wang and Song Xia and Wenhan Yang and Shijian Lu and Yap-Peng Tan and Alex C. Kot},
journal= {arXiv preprint arXiv:2405.01460},
year = {2024}
}
备注
Accepted by ICML 2024