终身DP：终身机器学习中一致有界的差分隐私
机器学习
2022-07-27 v1 人工智能
密码学与安全
摘要
本文中，我们表明持续学习新任务并记忆先前任务的过程引入了未知的隐私风险，并为界定隐私损失带来挑战。基于此，我们引入终身DP的形式化定义，其中在任何任务训练集中任何数据元组的参与均受到保护，在给定不断增长的任务流下，处于一致有界的DP保护之中。一致有界DP意指仅有一个固定的DP隐私预算值，而与任务数量无关。为保全终身DP，我们提出一种可扩展且异质的算法，称为L2DP-ML，采用流式批训练，以高效训练并持续发布L2M模型的新版本，顾及数据规模与任务训练顺序的异质性，且不影响私有训练集的DP保护。端到端理论分析与充分评估表明，我们的机制在保全终身DP方面显著优于基线方法。L2DP-ML的实现见：https://github.com/haiphanNJIT/PrivateDeepLearning。
引用
@article{arxiv.2207.12831,
title = {Lifelong DP: Consistently Bounded Differential Privacy in Lifelong Machine Learning},
author = {Phung Lai and Han Hu and NhatHai Phan and Ruoming Jin and My T. Thai and An M. Chen},
journal= {arXiv preprint arXiv:2207.12831},
year = {2022}
}