面向差分隐私稀疏学习的知识迁移框架
机器学习
2019-09-16 v1 密码学与安全
机器学习
摘要
我们研究在保护每个训练样本隐私的同时估计具有潜在稀疏结构的高维模型的问题。我们利用知识迁移的思想，开发了一个差分隐私高维稀疏学习框架。更具体地，我们提出通过在辅助特征上创建新数据集，来从在私有数据集上训练的“教师”估计器中提炼知识，然后使用这个新数据集训练一个差分隐私的“学生”估计器。此外，我们建立了所提方法的线性收敛速率以及效用保证。对于稀疏线性回归和稀疏逻辑回归，我们的方法相比已知最优结果（Kifer et al., 2012; Wang and Gu, 2019）取得了改进的效用保证。我们进一步通过合成和真实世界数据实验证明了我们框架的优越性。
引用
@article{arxiv.1909.06322,
title = {A Knowledge Transfer Framework for Differentially Private Sparse Learning},
author = {Lingxiao Wang and Quanquan Gu},
journal= {arXiv preprint arXiv:1909.06322},
year = {2019}
}
备注
24 pages, 2 figures, 3 tables