面向机器学习的私有多胜者投票机制
机器学习
2022-11-29 v1 密码学与安全
摘要
私有多胜者投票是指在满足有界差分隐私（DP）保证的前提下揭示k-hot二值向量的任务。尽管该任务在医疗健康等多个领域普遍存在，但在机器学习文献中尚未得到充分研究。我们提出了三种新的DP多胜者机制：Binary投票、τ投票和Powerset投票。Binary投票通过组合方式独立地对每个标签进行操作。τ投票在ℓ2范数上最优地约束投票，以提供紧致的数据无关保证。Powerset投票通过将可能的结果视为幂集，在整个二值向量上进行操作。我们的理论和实证分析表明，除非标签之间存在强相关性，否则Binary投票在许多任务上可以是一种有竞争力的机制；在存在强相关性的情况下，Powerset投票优于它。我们利用这些机制，通过扩展典型的单标签技术PATE，在中心化设置中实现隐私保护的多标签学习。我们发现，在大型真实世界医疗健康数据和标准多标签基准上，我们的技术优于当前最先进的方法。我们进一步实现了多标签机密与私有协作（CaPC）学习，并表明在多站点设置下模型性能可以得到显著提升。
引用
@article{arxiv.2211.15410,
title = {Private Multi-Winner Voting for Machine Learning},
author = {Adam Dziedzic and Christopher A Choquette-Choo and Natalie Dullerud and Vinith Menon Suriyakumar and Ali Shahin Shamsabadi and Muhammad Ahmad Kaleem and Somesh Jha and Nicolas Papernot and Xiao Wang},
journal= {arXiv preprint arXiv:2211.15410},
year = {2022}
}
备注
Accepted at PoPETS 2023