PolyMPCNet：面向基于两方计算私有推理的无 ReLU 神经网络架构搜索
密码学与安全
2023-02-24 v2 机器学习
摘要
深度学习的快速增长与部署已出现新兴的隐私和安全问题。为缓解这些问题，安全多方计算（MPC）已被探讨，以实现隐私保护的深度学习计算。在实践中，它们通常带来非常高的计算和通信开销，并可能阻碍其在大规模系统中的普及。两个正交的研究趋势引起了极大关注以解决安全深度学习中的能效问题，即 MPC 比较协议的开销降低，以及硬件加速。然而，它们要么由于有限的计算和通信节省而实现较低的降低比并遭受高延迟，要么由于现有工作主要关注 CPU 和 GPU 等通用计算平台而耗电严重。在这项工作中，作为首次尝试，我们开发了系统性框架 PolyMPCNet，通过将对加密构建块的硬件延迟集成到 DNN 损失函数中，以实现高能效、准确性和安全性保障，从而联合降低 MPC 比较协议开销和硬件加速。不同于在 DNN 训练好后启发式地检查模型灵敏度（通过删除或丢弃一些非多项式算子），我们的关键设计原则是强制执行 DNN 设计中所假设的——训练一个既硬件高效又安全的 DNN，同时逃离局部极小值和鞍点并保持高准确率。更具体地，我们提出了一种直通多项式激活初始化方法，用于加密硬件友好的可训练多项式激活函数，以替代昂贵的 2P-ReLU 算子。我们为现场可编程门阵列（FPGA）平台开发了加密硬件调度器及相应的性能模型。
引用
@article{arxiv.2209.09424,
title = {PolyMPCNet: Towards ReLU-free Neural Architecture Search in Two-party Computation Based Private Inference},
author = {Hongwu Peng and Shanglin Zhou and Yukui Luo and Shijin Duan and Nuo Xu and Ran Ran and Shaoyi Huang and Chenghong Wang and Tong Geng and Ang Li and Wujie Wen and Xiaolin Xu and Caiwen Ding},
journal= {arXiv preprint arXiv:2209.09424},
year = {2023}
}
备注
Uploaded a new version of the paper in another new submission: RRNet: Towards ReLU-Reduced Neural Network for Two-party Computation Based Private Inference [arXiv:2302.02292]