差分隐私元学习
机器学习
2020-02-24 v2 人工智能
密码学与安全
机器学习
摘要
参数迁移是元学习中一种众所周知且通用的 approach，其应用包括少样本学习、联邦学习和强化学习。然而，参数迁移算法通常要求共享已在来自特定任务的样本上训练过的模型，从而使任务拥有者易受隐私泄露的威胁。我们对此设置中的隐私进行了首次形式化研究，并将任务全局差分隐私的概念形式化为比更常见研究的威胁模型更实用的松弛。然后我们提出了一种新的用于基于梯度的参数迁移的差分隐私算法，该算法不仅满足此隐私要求，而且在凸设置下保留可证明的迁移学习保证。在经验上，我们将我们的分析应用于带个性化的联邦学习和少样本分类问题，表明允许从更常见研究的局部隐私概念松弛到任务全局隐私，在循环神经语言建模和图像分类中带来了性能的显著提升。
引用
@article{arxiv.1909.05830,
title = {Differentially Private Meta-Learning},
author = {Jeffrey Li and Mikhail Khodak and Sebastian Caldas and Ameet Talwalkar},
journal= {arXiv preprint arXiv:1909.05830},
year = {2020}
}