具有差分隐私的持续学习
机器学习
2021-10-12 v1 密码学与安全
摘要
在本文中，我们关注在持续学习（CL）中保护差分隐私（DP），其中我们训练 ML 模型以学习一系列新任务同时记忆先前的任务。我们首先引入持续相邻数据库的概念，以界定参与 CL 训练过程的任何数据记录的敏感度。在此基础上，我们开发了一种新的保留 DP 的 CL 算法，采用数据采样策略，通过应用矩会计（moments accountant）来量化著名的平均梯度情景记忆（A-GEM）方法中训练数据的隐私风险。我们的算法为 CL 中跨任务的数据记录提供了正式的隐私保证。初步的理论分析和评估表明，我们的机制在保持有前景的模型效用的同时收紧了隐私损失。
引用
@article{arxiv.2110.05223,
title = {Continual Learning with Differential Privacy},
author = {Pradnya Desai and Phung Lai and NhatHai Phan and My T. Thai},
journal= {arXiv preprint arXiv:2110.05223},
year = {2021}
}
备注
The paper will appear at ICONIP21