CoPriv：面向通信高效隐私推理的网络/协议协同优化
密码学与安全
2023-11-06 v1
摘要
基于安全两方计算(2PC)的深度神经网络(DNN)推理可提供密码学安全的隐私保护，但由于巨大的通信量，其延迟开销高出数量级。以往工作严重依赖 ReLU 数量的代理度量来近似通信开销，并聚焦于减少 ReLU 以提升通信效率。然而，我们观察到由于忽略了其他线性和非线性运算（它们现在占据了通信的主要部分），这些工作对最优(state-of-the-art, SOTA) 2PC 协议实现的通信削减有限。本工作中，我们提出 CoPriv，一种联合优化 2PC 推理协议与 DNN 架构的框架。CoPriv 提出了一种基于 Winograd 变换的卷积新 2PC 协议，并开发了 DNN 感知优化以显著减少推理通信。CoPriv 进一步开发了与所提协议兼容的 2PC 感知网络优化算法，同时削减所有线性和非线性运算的通信。我们将 CoPriv 与 SOTA 2PC 协议 CrypTFlow2 比较，在 CIFAR-100 上对 ResNet-18 和 ResNet-32 均实现了 2.1 倍的通信削减。我们还将 CoPriv 与 SOTA 网络优化方法（包括 SNL、MetaPruning 等）比较。与 SNL 相比，CoPriv 在更高精度下分别实现了 9.98 倍和 3.88 倍的在线与总通信削减；与 MetaPruning 相比，CoPriv 在线通信削减 3.87 倍且精度高出 3% 以上。
引用
@article{arxiv.2311.01737,
title = {CoPriv: Network/Protocol Co-Optimization for Communication-Efficient Private Inference},
author = {Wenxuan Zeng and Meng Li and Haichuan Yang and Wen-jie Lu and Runsheng Wang and Ru Huang},
journal= {arXiv preprint arXiv:2311.01737},
year = {2023}
}
备注
Accepted by NeurIPS 2023