Sage差分隐私机器学习平台中的隐私核算与质量控制
机器学习
2019-09-10 v2 密码学与安全
机器学习
摘要
企业日益将基于敏感用户数据训练的机器学习（ML）模型暴露于不可信域，例如终端用户设备和广泛访问的模型存储库。我们提出Sage，一个差分隐私（DP）ML平台，其对通过模型泄露的训练数据的累积量进行约束。Sage建立在丰富的DP ML算法文献之上，并为全局DP最紧迫的两个系统挑战——隐私预算耗尽与隐私-效用权衡——贡献了务实的解决方案。针对前者，我们开发了块组合，一种新颖的隐私损失核算方法，它利用ML工作负载中不断增长的数据库机制，在敏感数据流上无休止地训练模型，同时为该流强制提供全局DP保证。针对后者，我们开发了隐私自适应训练，一种在日益增长的数据量和/或递增的隐私参数上训练模型，直到以高概率满足开发者配置的质量准则的过程。它们说明了，对ML工作负载特征的系统关注如何促成那些在仅关注单个算法（如多数DP ML文献所做）时并不明显的务实方案。
引用
@article{arxiv.1909.01502,
title = {Privacy Accounting and Quality Control in the Sage Differentially Private ML Platform},
author = {Mathias Lecuyer and Riley Spahn and Kiran Vodrahalli and Roxana Geambasu and Daniel Hsu},
journal= {arXiv preprint arXiv:1909.01502},
year = {2019}
}
备注
Extended version of a paper presented at the 27th ACM Symposium on Operating Systems Principles (SOSP '19)