深度集成中的精度-隐私权衡：成员推断视角
机器学习
2023-05-26 v4 人工智能
密码学与安全
摘要
深度集成学习已通过训练多个神经网络并平均其输出来提升精度。集成学习也被认为可防御破坏隐私的成员推断攻击。在本文中，我们从经验上展示了深度集成中这两个目标（即精度与隐私（就成员推断攻击而言））之间的权衡。利用广泛的数据集与模型架构，我们表明当集成提升精度时，成员推断攻击的有效性也随之增加。我们分析了深度集成中各类因素的影响并揭示了该权衡的根本原因。随后，我们评估了基于正则化与差分隐私的针对成员推断攻击的常用防御方法。我们表明，尽管这些防御能缓解成员推断攻击的有效性，却同时降低了集成精度。我们在更先进且最先进的集成技术（如快照集成与多样化集成网络）中展示了类似的权衡。最后，我们提出了一种简单而有效的深度集成防御方法以打破该权衡，从而同时提升精度与隐私。
引用
@article{arxiv.2105.05381,
title = {Accuracy-Privacy Trade-off in Deep Ensemble: A Membership Inference Perspective},
author = {Shahbaz Rezaei and Zubair Shafiq and Xin Liu},
journal= {arXiv preprint arXiv:2105.05381},
year = {2023}
}