Tempo：云端神经网络训练中的机密性保护
密码学与安全
2024-01-23 v1 机器学习
摘要
云端深度学习平台为缺乏计算资源的客户提供了具有成本效益的深度神经网络（DNN）训练。然而，云系统通常不可信且容易受到攻击者攻击，导致人们对模型隐私的日益担忧。最近，研究人员试图通过利用CPU可信执行环境（TEEs）来保护深度学习中的数据隐私，这最大限度地减少了密码学的使用，但现有工作未能同时利用GPU的计算资源来辅助训练并防止模型泄漏。本文提出了Tempo，这是第一个与TEE和分布式GPU协作的云端深度学习系统，可在保持模型机密性的同时进行高效的DNN训练。为了解决在将线性代数运算从TEE卸载到GPU以进行高效批量计算时保护隐私的挑战，我们引入了一种定制的基于置换的混淆算法，以对输入和模型参数进行盲化。提出了一种减少加密操作的优化机制，用于在反向传播期间更快地更新权重，从而加速训练。我们实现了Tempo，并针对两种流行的DNN对其进行了训练和推理评估。实证结果表明，Tempo优于基线方法并提供了充分的隐私保护。
引用
@article{arxiv.2401.11531,
title = {Tempo: Confidentiality Preservation in Cloud-Based Neural Network Training},
author = {Rongwu Xu and Zhixuan Fang},
journal= {arXiv preprint arXiv:2401.11531},
year = {2024}
}