通过协同设计激活函数实现深度神经网络的快速私有推理
密码学与安全
2024-04-17 v2 机器学习
摘要
机器学习即服务(MLaaS)是一种日益流行的设计，其中拥有丰富计算资源的公司训练深度神经网络并提供用于图像分类等任务的查询访问。该设计的挑战在于MLaaS要求客户端将其潜在敏感查询暴露给托管模型的公司。多方计算(MPC)通过允许加密推理来保护客户端数据。然而，当前方法存在推理时间过高的问题。MPC中的推理时间瓶颈在于ReLU激活函数等非线性的层的计算。受先前协同设计机器学习与MPC工作成功的启发，我们开发了激活函数协同设计。我们用多项式近似替换所有ReLU，并使用单轮MPC协议对其求值，从而在广域网中给出最先进的推理时间。此外，为解决先前多项式激活遇到的精度问题，我们提出了一种新颖的训练算法，其精度可与明文模型竞争。我们的评估显示，在具有多达百万参数的大型模型上，推理时间实现了到的加速，同时保持了有竞争力的推理精度。
引用
@article{arxiv.2306.08538,
title = {Fast and Private Inference of Deep Neural Networks by Co-designing Activation Functions},
author = {Abdulrahman Diaa and Lucas Fenaux and Thomas Humphries and Marian Dietz and Faezeh Ebrahimianghazani and Bailey Kacsmar and Xinda Li and Nils Lukas and Rasoul Akhavan Mahdavi and Simon Oya and Ehsan Amjadian and Florian Kerschbaum},
journal= {arXiv preprint arXiv:2306.08538},
year = {2024}
}
备注
To appear at USENIX Security 2024