架构至关重要:探究差分隐私对神经网络设计的影响
机器学习
2021-12-01 v1
摘要
更广泛采用差分隐私神经网络的一个障碍是其所带来的准确率损失。为了解决这个问题,需要更好地理解在差分隐私约束下神经网络架构与模型准确率之间的关系。作为第一步,我们测试了现有的架构设计知识在差分隐私设定下是否依然成立。我们的发现表明并非如此;在没有差分隐私时表现良好的架构,在加入差分隐私后并不一定表现良好。因此,现有的关于神经网络架构设计的知识不能无缝转化为差分隐私语境。未来的研究需要更好地理解神经网络架构与模型准确率之间的关系,以便在差分隐私约束下做出更好的架构设计选择。
引用
@article{arxiv.2111.14924,
title = {Architecture Matters: Investigating the Influence of Differential Privacy on Neural Network Design},
author = {Felix Morsbach and Tobias Dehling and Ali Sunyaev},
journal= {arXiv preprint arXiv:2111.14924},
year = {2021}
}
备注
To be presented at Privacy in Machine Learning (NeurIPS 2021 Workshop)