差分隐私混合模型中的迁移学习
机器学习
2022-06-17 v2 密码学与安全
数据结构与算法
摘要
差分隐私中的混合模型（Avent等人2017）是本地模型的扩展，除N个本地代理外，还由一个特殊代理辅助，该代理实为持有n个额外个体敏感信息的 curator。本文研究混合模型中的机器学习问题，其中curator数据集中的n个个体来自与总体（本地代理）不同的分布。我们针对该迁移学习问题给出一种通用方案——子采样-测试-重加权（Subsample-Test-Reweigh），其基于乘法权重算法（由Bun等人2020引入）的平滑变体，通过对curator持有的n个样本进行迭代子采样与重加权，将任意curator模型DP学习器归约为该设定下的混合模型学习器。我们的方案具有依赖于两分布间卡方散度的样本复杂度。我们给出了私有归约所需样本复杂度的最坏情况分析界。为降低该样本复杂度，我们给出两个可大幅降低样本复杂度的具体实例（其一经数学分析，另一经实证），并提出若干后续研究方向。
引用
@article{arxiv.2201.12018,
title = {Transfer Learning In Differential Privacy's Hybrid-Model},
author = {Refael Kohen and Or Sheffet},
journal= {arXiv preprint arXiv:2201.12018},
year = {2022}
}