3LegRace：基于 TEE 与 GPU 的隐私保护深度神经网络训练
密码学与安全
2022-06-20 v2 分布式、并行与集群计算
摘要
利用并行硬件（如 GPU）进行深度神经网络（DNN）训练可带来高计算性能。然而，由于 GPU 缺乏保护数据的可信环境，这引发了数据隐私问题。可信执行环境（TEE）已成为实现隐私保护学习的一种有前景的方案。遗憾的是，TEE 有限的计算能力使其在性能上无法与 GPU 相比。为改善隐私、计算性能与模型精度之间的权衡，我们提出了一种非对称模型分解框架 \AsymML{}，以（1）利用并行硬件加速训练；（2）利用 TEE 和差分隐私（DP）实现强隐私保证，且与仅使用 DP 的方法相比精度损失大幅降低。通过利用训练数据与中间特征的低秩特性，\AsymML{} 将输入与中间激活非对称地分解为低秩部分与残差部分。基于分解后的数据，目标 DNN 模型相应地被切分为可信部分与不可信部分。可信部分在低秩数据上执行计算，其计算与内存开销均较低。不可信部分则输入被极小噪声扰动的残差。通过将可信部分与不可信部分分别交由 TEE 和 GPU 处理，隐私、计算性能与模型精度得到了良好管理。我们提供了形式化的 DP 保证，表明在相同的隐私保证下，结合非对称数据分解与 DP 所需的噪声远小于仅在不分解时使用 DP。与仅使用无分解 DP 的方法相比，这显著改善了隐私-效用权衡。此外，我们给出了秩界分析，表明低秩结构在整个模型的每一层之后均得以保持。
引用
@article{arxiv.2110.01229,
title = {3LegRace: Privacy-Preserving DNN Training over TEEs and GPUs},
author = {Yue Niu and Ramy E. Ali and Salman Avestimehr},
journal= {arXiv preprint arXiv:2110.01229},
year = {2022}
}
备注
Accepted to Privacy Enhancing Technologies Symposium (PETS) 2022