ARMOR：防护数据增强下的不可学习样本
机器学习
2025-01-16 v1 人工智能
密码学与安全
摘要
私有数据在发布到线上后可能被未经授权的方收集，用于训练深度神经网络 (DNN)。为保护隐私，可以向原始样本添加防御性噪声以降低 DNN 的学习性。最近提出的不可学习样本旨在最小化训练损失，以几乎不学习任何东西。然而，原始数据常在用于训练前进行预处理，这可能会恢复受保护数据的私有信息。在本文中，我们揭示了数据增强导致数据隐私泄露的现象，这是一种常用的数据预处理技术，用于提高模型的泛化能力，这是我们所知的第一种情况。我们演示了数据增强显著提高在不可学习样本上训练的模型准确率，从 21.3% 提升到 66.1%。为解决此问题，我们提出一种防御框架，称为 ARMOR，以保护数据隐私免受数据增强潜在 breach 的威胁。为克服没有访问模型训练过程的困难，我们设计一种受非局部模块支持的代理模型，以更好地捕获数据增强的影响。此外，我们设计一种代理增强选择策略，以最大化增强样本与非增强样本之间的分布对齐，用于为每个类别选择最佳增强策略。我们还使用动态步长调整算法来增强防御性噪声生成过程。对 4 个数据集和 5 种数据增强方法进行大量实验以验证 ARMOR 的性能。与 6 种最先进的防御方法进行比较表明，ARMOR 能在数据增强下保持受保护私有数据的不可学习性。ARMOR 比基线方法在保护样本上测试准确率降低多达 60%。
引用
@article{arxiv.2501.08862,
title = {ARMOR: Shielding Unlearnable Examples against Data Augmentation},
author = {Xueluan Gong and Yuji Wang and Yanjiao Chen and Haocheng Dong and Yiming Li and Mengyuan Sun and Shuaike Li and Qian Wang and Chen Chen},
journal= {arXiv preprint arXiv:2501.08862},
year = {2025}
}