学习线性化深度神经网络以实现安全高效的私有推理
计算机视觉与模式识别
2023-01-24 v1 人工智能
机器学习
摘要
现有深度神经网络中大量的 ReLU 非线性操作使其不利于低延迟高效的私有推理(PI)。现有减少 ReLU 操作的技术常涉及人工努力并牺牲显著精度。本文中,我们首先提出一种衡量非线性层 ReLU 敏感度的新指标,得以缓解识别此类层时耗时的手工工作。基于该敏感度,我们随后提出 SENet,一种三阶段训练方法,其在给定 ReLU 预算下,自动分配逐层 ReLU 数量、决定每层激活图的 ReLU 位置,并训练具有显著更少 ReLU 的模型以潜在地产生低延迟与通信高效的 PI。在多个模型与各种数据集上的实验评估显示,SENet 相较于现有替代方案在减少 ReLU 与提升分类精度方面均具优越性能。特别地,SENet 可产出所需 ReLU 至多约少 ~2 倍的模型,同时达到相似精度。在相似 ReLU 预算下,SENet 可产出在 CIFAR-100 上评估的约高 ~2.32% 分类精度的模型。
引用
@article{arxiv.2301.09254,
title = {Learning to Linearize Deep Neural Networks for Secure and Efficient Private Inference},
author = {Souvik Kundu and Shunlin Lu and Yuke Zhang and Jacqueline Liu and Peter A. Beerel},
journal= {arXiv preprint arXiv:2301.09254},
year = {2023}
}
备注
15 pages, 10 figures, 11 tables. Accepted as a conference paper at ICLR 2023