Opacus：PyTorch 中用户友好的差分隐私库
机器学习
2022-08-24 v4 密码学与安全
摘要
我们介绍 Opacus，一个免费、开源的 PyTorch 库，用于以差分隐私训练深度学习模型（托管于 opacus.ai）。Opacus 以简洁、灵活和高速为设计目标。它提供简单且用户友好的 API，使机器学习从业者仅需向代码中添加少至两行即可令训练流程具备隐私性。它开箱即支持多种层，包括多头注意力、卷积、LSTM、GRU（及通用 RNN）与嵌入层，并提供支持其他用户自定义层的手段。Opacus 计算批处理的逐样本梯度，相较于传统的“微批次”方法具有更高效率。本文中我们介绍 Opacus，详述驱动其实现的原则与独有特性，并将其与其他用于差分隐私训练模型的框架以及标准 PyTorch 进行基准对比。
引用
@article{arxiv.2109.12298,
title = {Opacus: User-Friendly Differential Privacy Library in PyTorch},
author = {Ashkan Yousefpour and Igor Shilov and Alexandre Sablayrolles and Davide Testuggine and Karthik Prasad and Mani Malek and John Nguyen and Sayan Ghosh and Akash Bharadwaj and Jessica Zhao and Graham Cormode and Ilya Mironov},
journal= {arXiv preprint arXiv:2109.12298},
year = {2022}
}
备注
Privacy in Machine Learning (PriML) workshop, NeurIPS 2021