深度学习模型架构如何影响其隐私性？对 CNN 与 Transformer 隐私攻击的全面研究
密码学与安全
2024-02-05 v3 人工智能
机器学习
机器学习
摘要
作为过去十年蓬勃发展的研究领域，深度学习技术由前所未有的规模所收集和处理的大数据所驱动。然而，由于训练数据中敏感信息可能泄露，隐私问题随之产生。近期研究表明，深度学习模型易受多种隐私攻击，包括成员推断攻击、属性推断攻击和梯度反转攻击。值得注意的是，这些攻击的有效性因模型而异。在本文中，我们回答了一个基本问题：模型架构是否影响模型隐私？通过研究从卷积神经网络（CNNs）到 Transformers 的代表性模型架构，我们证明 Transformers 通常比 CNNs 表现出更高的隐私攻击脆弱性。此外，我们确定激活层、stem 层和 LN 层的微观设计是 CNNs 抵御隐私攻击韧性的主要因素，而注意力模块的存在是加剧 Transformers 隐私脆弱性的另一主要因素。我们的发现为深度学习模型防御隐私攻击提供了有价值的见解，并启发研究界开发隐私友好的模型架构。
引用
@article{arxiv.2210.11049,
title = {How Does a Deep Learning Model Architecture Impact Its Privacy? A Comprehensive Study of Privacy Attacks on CNNs and Transformers},
author = {Guangsheng Zhang and Bo Liu and Huan Tian and Tianqing Zhu and Ming Ding and Wanlei Zhou},
journal= {arXiv preprint arXiv:2210.11049},
year = {2024}
}
备注
To appear in USENIX Security 2024