分布偏移下的多任务差分隐私
机器学习
2023-02-17 v1 密码学与安全
机器学习
摘要
我们研究用户级差分隐私下的多任务学习问题，其中 个用户为 个任务贡献数据，每个任务涉及一个用户子集。该问题中一个能显著影响质量的重要方面是任务间的分布偏移。某些任务的数据样本可能远少于其他任务，使其更容易受到为保护隐私所添加噪声的影响。自然会问算法能否适应这种偏移以改善整体效用。我们通过对用户如何在各任务间最优分配其隐私预算的研究，给出该问题的系统性分析。我们提出一种基于经验损失自适应重加权的通用算法，并表明当存在任务分布偏移时，这会带来可量化的超额经验风险改进。在展现长尾小任务的推荐问题上的实验研究表明，我们的方法显著改善效用，在两个标准基准上达到了最先进水平（SOTA）。
引用
@article{arxiv.2302.07975,
title = {Multi-Task Differential Privacy Under Distribution Skew},
author = {Walid Krichene and Prateek Jain and Shuang Song and Mukund Sundararajan and Abhradeep Thakurta and Li Zhang},
journal= {arXiv preprint arXiv:2302.07975},
year = {2023}
}