面向高效隐私保护神经网络推理的函数间联合线性与非线性计算
密码学与安全
2022-09-07 v1
摘要
尽管近期隐私保护机器学习即服务 (MLaaS) 的发展令人鼓舞，其在真实应用场景中的部署仍存在显著的性能差距。我们观察到，最先进的框架对每个函数输出遵循“计算并共享”原则，其中线性函数中的求和（函数输出的两步中的最后一步）涉及所有旋转（最昂贵的 HE 操作），而非线性函数中的多路复用（同样为函数输出的两步中的最后一步）引入了可观的通信轮次。因此，我们挑战传统的“计算并共享”逻辑，并首次提出跨函数的联合线性与非线性计算，其特点为：1) 用于计算非线性函数的 PHE 三元组，借此消除多路复用；2) 用于计算线性函数的矩阵编码，借此去除求和所需的所有旋转；3) 用于重组模型结构的网络适配，借此尽可能利用联合计算模块。数值复杂度验证了效率的提升，实验表明在最先进模型所用的各类函数上最高加速 13 倍，在主流神经网络上最高加速 5 倍。
引用
@article{arxiv.2209.01637,
title = {Joint Linear and Nonlinear Computation across Functions for Efficient Privacy-Preserving Neural Network Inference},
author = {Qiao Zhang and Tao Xiang and Chunsheng Xin and Biwen Chen and Hongyi Wu},
journal= {arXiv preprint arXiv:2209.01637},
year = {2022}
}