DeepReShape:重构神经网络以实现高效隐私推理
密码学与安全
2024-06-25 v4
摘要
先前关于隐私推理(PI)——直接对加密输入进行的推理——的工作聚焦于最小化网络的ReLU,因ReLU被假定为主导PI延迟而非FLOPs。近期工作表明,PI的FLOPs已不可忽视并带来高延迟代价。本文提出DeepReShape,一种在PI约束下优化神经网络架构的技术,首次同时优化ReLU与FLOPs。其核心洞见是策略性地分配通道以按对网络精度的关键程度排列ReLU,从而同时优化ReLU与FLOPs效率。DeepReShape以高效流程自动化网络开发,我们将生成的网络称为HybReNets。我们使用标准PI基准评估DeepReShape,在CIFAR-100上以等ReLU条件取得2.1%精度提升与5.2运行加速,在TinyImageNet上以等精度条件取得8.7运行加速。此外,我们考察了网络选择在此前ReLU优化中的重要性,并阐明了优异PI性能的关键网络属性。
引用
@article{arxiv.2304.10593,
title = {DeepReShape: Redesigning Neural Networks for Efficient Private Inference},
author = {Nandan Kumar Jha and Brandon Reagen},
journal= {arXiv preprint arXiv:2304.10593},
year = {2024}
}
备注
Accepted to Transactions on Machine Learning Research (TMLR), 2024