基于联合差分隐私的跨数据拥有者学习
机器学习
2023-05-26 v1 密码学与安全
最优化与控制
摘要
在本文中，我们研究数据拥有者在一种称为联合差分隐私(joint differential privacy)[Kearns et al., 2018]的隐私概念下协作训练机器学习模型的设定。在此设定中，为每个数据拥有者 训练的模型使用 的数据时不考虑隐私，而使用其他拥有者的数据时有差分隐私保证。该设定由[Jain et al., 2021]提出，重点关注线性回归。在本文中，我们针对随机凸优化(SCO)研究该设定。我们提出了一种 DP-SGD [Song et al., 2013; Abadi et al., 2016] 的变体算法，并给出了其总体损失(population loss)的理论界。我们将我们的算法与若干基线进行比较，并讨论在何种参数设置下我们的算法更受青睐。我们还在两个公开数据集上的多类分类问题中对联合差分隐私进行了实证研究。我们的实证发现与理论结果给出的见解紧密关联。
引用
@article{arxiv.2305.15723,
title = {Learning across Data Owners with Joint Differential Privacy},
author = {Yangsibo Huang and Haotian Jiang and Daogao Liu and Mohammad Mahdian and Jieming Mao and Vahab Mirrokni},
journal= {arXiv preprint arXiv:2305.15723},
year = {2023}
}