差分隐私机器学习中架构与特征选择的重要性
密码学与安全
2022-05-16 v1 机器学习
摘要
我们研究了差分隐私机器学习典型工作流中的一个陷阱。以“即插即用”方式使用差分隐私学习算法——在选择何种特征工程操作、选择哪些特征或使用何种神经网络架构时未考虑差分隐私（DP）噪声的影响——会产生过度复杂且性能不佳的模型。换言之，通过预期 DP 噪声的影响，本可以在相同隐私保证下训练出更简单且更准确的替代模型。我们通过理论与实验系统地研究了这一现象。在理论方面，我们提供了一个解释性框架并证明该现象自然源于为满足差分隐私而加入的噪声。在实验方面，我们借助各种数据集、模型类型、任务和神经网络架构展示了该现象在实践中的表现。我们还分析了导致该问题的因素，并将实验见解提炼为从业者在训练带差分隐私的模型时可遵循的具体要点。最后，我们提出了用于特征选择和神经网络架构搜索的隐私感知算法。我们分析了它们的差分隐私性质并进行了实证评估。
引用
@article{arxiv.2205.06720,
title = {On the Importance of Architecture and Feature Selection in Differentially Private Machine Learning},
author = {Wenxuan Bao and Luke A. Bauer and Vincent Bindschaedler},
journal= {arXiv preprint arXiv:2205.06720},
year = {2022}
}