学习实现对抗鲁棒性与差分隐私
机器学习
2022-01-10 v1
摘要
我们研究了由鲁棒性与差分隐私优化所带来的学习困难。首先，我们以线性可分数据上的简单二分类任务为例，研究基于梯度下降的对抗训练在差分隐私下的收敛性。我们比较了私有与非私有设置下对抗风险与名义风险之间的差距，表明私有优化引入的依赖于数据维度的项加剧了学习鲁棒模型的困难。此后，我们讨论对抗训练与差分隐私中损害优化的部分，指出对抗扰动的大小与差分隐私中的裁剪范数均增大了损失景观的曲率，意味着更差的泛化性能。
引用
@article{arxiv.2201.02265,
title = {Learning to be adversarially robust and differentially private},
author = {Jamie Hayes and Borja Balle and M. Pawan Kumar},
journal= {arXiv preprint arXiv:2201.02265},
year = {2022}
}
备注
Preliminary work appeared at PPML 2021