曲率线索：基于输入损失曲率解码深度学习隐私
机器学习
2024-07-04 v1 密码学与安全
摘要
本文探讨了深度神经网络中关于输入数据的损失曲率属性。关于输入的损失曲率（称为输入损失曲率）是输入损失 Hessian 迹。我们研究输入损失曲率在训练集和测试集之间的变化，以及其对训练-测试可区分性的影响。我们发展了基于隐私和训练集大小的训练-测试可区分性上界的理论框架。这种新颖的见解推动了开发一种利用输入损失曲率的新型黑盒成员推断攻击。我们通过计算机视觉分类任务中的实验验证了理论发现，表明输入损失曲率在成员推断有效性方面超越了现有方法。我们的分析强调了成员推断攻击方法性能随训练集大小变化的规律，表明在足够大的数据集上，基于曲率的方法在其他方法之上表现更佳。这种条件通常被实际数据集满足，正如我们在 CIFAR10、CIFAR100 和 ImageNet 上的结果所示。这些发现不仅深化了对深度神经网络行为的理解，还提高了测试机器学习中隐私保留技术能力。
引用
@article{arxiv.2407.02747,
title = {Curvature Clues: Decoding Deep Learning Privacy with Input Loss Curvature},
author = {Deepak Ravikumar and Efstathia Soufleri and Kaushik Roy},
journal= {arXiv preprint arXiv:2407.02747},
year = {2024}
}