我们能从不可学习数据集中学到什么？
机器学习
2023-11-09 v3 密码学与安全
摘要
在网页抓取盛行的时代，不可学习数据集方法有可能通过阻止深度神经网络泛化来保护数据隐私。但除了一些使其难以实际应用的局限性外，我们提出了若干发现，对其保护数据的能力提出质疑。首先，人们普遍认为在不可学习数据集上训练的神经网络只学习捷径，即无助于泛化的更简单规则。相反，我们发现网络实际上可以学习有用的特征，这些特征可通过重新加权获得较高的测试性能，这表明图像保护并非万无一失。不可学习数据集还被认为通过所添加扰动的线性可分性来诱导学习捷径。我们提供了一个反例，证明扰动的线性可分性并非必要条件。为了强调为何不应依赖线性可分的扰动，我们提出了一种正交投影攻击，该攻击能够从 ICML 2021 和 ICLR 2023 发表的不可学习数据集中进行学习。我们提出的攻击比近期提出的技术显著更简单。
引用
@article{arxiv.2305.19254,
title = {What Can We Learn from Unlearnable Datasets?},
author = {Pedro Sandoval-Segura and Vasu Singla and Jonas Geiping and Micah Goldblum and Tom Goldstein},
journal= {arXiv preprint arXiv:2305.19254},
year = {2023}
}
备注
Accepted to NeurIPS 2023. Code available at https://github.com/psandovalsegura/learn-from-unlearnable