隐私保护下的Adam：基于自适应矩估计的深度神经网络安全快速训练
密码学与安全
2021-06-07 v1 机器学习
摘要
隐私保护机器学习(PPML)旨在使机器学习(ML)算法能够用于敏感数据。我们通过提出一个框架来推进该研究方向，该框架通过安全多方计算(MPC)实现高效且安全地对完整的最先进ML算法进行评估。这与大多数先前工作形成对比，后者用近似的“MPC友好”变体替代ML算法。后一种方法的缺陷在于需要对ML与MPC组合算法进行精细调参，可能导致效率较低或ML质量下降。这对于安全深度神经网络(DNN)训练尤为突出，因为其涉及被认为“MPC不友好”的算术算法，即整数除法、指数、求逆和平方根。本文中，我们针对上述看似MPC不友好的计算提出安全且高效的协议。我们的协议是诚实多数设定下的三方协议，并提出了被动安全和主动安全可中止两种变体。我们协议的一个显著特征是同时提供高精度与高效率。该框架使我们能够“原样”高效且安全地计算现代ML算法(如Adam和softmax函数)，而无需近似。因此，我们获得了优于最先进三方系统的安全DNN训练；在标准基准网络上，我们的完整训练比最近提出的FALCON@PETS'21的仅在线阶段快至多6.7倍。我们进一步在真实世界DNN(AlexNet和VGG16)上进行了测量。与FALCON相比，我们的框架在达到70%和75%准确率时，AlexNet性能快约12-14倍，VGG16快46-48倍。
引用
@article{arxiv.2106.02203,
title = {Adam in Private: Secure and Fast Training of Deep Neural Networks with Adaptive Moment Estimation},
author = {Nuttapong Attrapadung and Koki Hamada and Dai Ikarashi and Ryo Kikuchi and Takahiro Matsuda and Ibuki Mishina and Hiraku Morita and Jacob C. N. Schuldt},
journal= {arXiv preprint arXiv:2106.02203},
year = {2021}
}
备注
24 pages, 13 tables