让模型再次变浅:联合学习降低非线性与深度以实现低延迟高效隐私推理
机器学习
2023-04-27 v1 密码学与安全
摘要
深度神经网络大量的 ReLU 与 MAC 操作使其不适合低延迟与计算高效的隐私推理。本文提出一种模型优化方法,使模型能够学习变浅。具体而言,我们利用卷积块对 ReLU 的敏感性来移除一个 ReLU 层,并将其后续与前序卷积层合并为一个浅层块。不同于现有 ReLU 削减方法,我们的联合削减方法在 ResNet18 于 CIFAR-100 上评估时,可在无显著精度下降的情况下,使 ReLU 与线性操作的削减分别提升达 1.73 倍和 1.47 倍。
引用
@article{arxiv.2304.13274,
title = {Making Models Shallow Again: Jointly Learning to Reduce Non-Linearity and Depth for Latency-Efficient Private Inference},
author = {Souvik Kundu and Yuke Zhang and Dake Chen and Peter A. Beerel},
journal= {arXiv preprint arXiv:2304.13274},
year = {2023}
}