差分隐私中的真相：集成隐私学习中的投票泄露
机器学习
2022-09-23 v1 密码学与安全
摘要
当从敏感数据中学习时，必须注意确保训练算法解决隐私问题。典型的教师集成隐私聚合（PATE）通过投票机制聚合（可能是分布式的）一组教师模型的预测来计算输出标签。该机制添加噪声以获得关于教师训练数据的差分隐私保证。在这项工作中，我们观察到这种噪声的使用使PATE预测具有随机性，从而实现了新形式的敏感信息泄露。对于给定的输入，我们的对手利用这种随机性来提取底层教师提交投票的高保真直方图。从这些直方图中，对手可以学习输入的敏感属性，如种族、性别或年龄。尽管该攻击不直接违反差分隐私保证，但它明显违反了隐私规范和期望，并且若没有为获得差分隐私而插入的噪声，根本不可能发生。事实上，反直觉的是，随着我们添加更多噪声以提供更强的差分隐私，攻击变得更容易。我们希望这能鼓励未来工作整体性地考虑隐私，而非将差分隐私视为万灵药。
引用
@article{arxiv.2209.10732,
title = {In Differential Privacy, There is Truth: On Vote Leakage in Ensemble Private Learning},
author = {Jiaqi Wang and Roei Schuster and Ilia Shumailov and David Lie and Nicolas Papernot},
journal= {arXiv preprint arXiv:2209.10732},
year = {2022}
}
备注
To appear at NeurIPS 2022