NeuroMixGDP：一种受神经坍缩启发的用于隐私数据发布的随机混合方法
机器学习
2023-12-06 v2 计算机视觉与模式识别
摘要
隐私保护数据发布算法因能在保护用户隐私的同时支持下游机器学习任务而受到越来越多的关注。然而，当前流行算法的效用并不总是令人满意。对原始数据进行Mixup提供了一种新的数据增强方式，有助于提升效用。然而，当加入差分隐私（DP）噪声时，其性能急剧恶化。针对此问题，本文从近期观察到的神经坍缩（NC）现象汲取灵感，该现象表明神经网络最后一层特征会聚拢在单纯形的顶点上，构成等角紧框架（ETF）。我们提出一种对神经坍缩特征进行mixup的方案，以利用ETF单纯形结构并发布带噪混合特征，从而提升发布数据的效用。通过使用高斯差分隐私（GDP），我们获得了最优mixup程度的渐近速率。为进一步提升效用并解决mixup程度较大时的标签坍缩问题，我们提出一种分层采样方法，将mixup样本在少量类别上分层。当类别数较大时，该方法显著改善效用。大量实验证明了我们所提方法在抵御攻击和提升效用方面的有效性。特别地，与在CIFAR100和MiniImagenet数据集上直接用DPSGD训练分类网络相比，我们的方法效用显著提升，凸显了使用隐私保护数据发布的好处。我们在 https://github.com/Lidonghao1996/NeuroMixGDP 发布了可复现代码。
引用
@article{arxiv.2202.06467,
title = {NeuroMixGDP: A Neural Collapse-Inspired Random Mixup for Private Data Release},
author = {Donghao Li and Yang Cao and Yuan Yao},
journal= {arXiv preprint arXiv:2202.06467},
year = {2023}
}
备注
28 pages, 9 figures