面向隐私经验风险最小化的持续与滑动窗口发布
机器学习
2022-03-08 v1
摘要
在保持隐私的同时用新数据持续更新私有机器学习模型是困难的。当数据被用于重复计算时，其隐私损失（以差分隐私衡量）会不断增加。在本文中，我们描述了正则化经验风险最小化算法，这些算法持续地为近期数据窗口发布模型。该算法的一个版本使用整个数据历史来改进近期窗口的模型。第二个版本使用恒定大小的滑动窗口来改进模型，从而在数据演化时确保模型更具相关性。这些算法在随机梯度下降的框架下运行。我们证明，即使在无限时间范围内每个时间步都发布一个模型，任何数据点的隐私代价也被一个常数 差分隐私所限制，且输出模型的精度接近最优。在 MNIST 和 Arxiv 出版物数据上的实验显示了与理论一致的结果。
引用
@article{arxiv.2203.03594,
title = {Continual and Sliding Window Release for Private Empirical Risk Minimization},
author = {Lauren Watson and Abhirup Ghosh and Benedek Rozemberczki and Rik Sarkar},
journal= {arXiv preprint arXiv:2203.03594},
year = {2022}
}