面向差分隐私时代的自动微分系统
机器学习
2022-04-06 v2 密码学与安全
摘要
我们介绍了 Tritium，一个基于自动微分的差分隐私（DP）机器学习（ML）灵敏度分析框架。该设定下的最优噪声标定需要高效的雅可比矩阵计算和紧致的 L2-灵敏度界。我们的框架通过依赖一种基于泛函分析的灵敏度追踪方法来实现这些目标，我们对此作了简要概述。该方法与基于静态图的自动微分自然无缝地互操作，与先前工作相比在编译时间上实现了数量级的改进。此外，我们证明一次性优化整个计算图的灵敏度，相比区间界传播技术可得到对真实灵敏度明显更紧的估计。我们的工作自然契合近期 DP 的发展，例如个体隐私核算，旨在提供更优的隐私-效用权衡，并代表着将易用的机器学习工具与先进的隐私核算系统相整合的一步。
引用
@article{arxiv.2109.10573,
title = {An automatic differentiation system for the age of differential privacy},
author = {Dmitrii Usynin and Alexander Ziller and Moritz Knolle and Andrew Trask and Kritika Prakash and Daniel Rueckert and Georgios Kaissis},
journal= {arXiv preprint arXiv:2109.10573},
year = {2022}
}
备注
8 pages, Accepted to the NEURIPS 2021 Privacy Preserving Machine Learning Workshop