层折叠：利用激活线性化实现神经网络深度缩减
计算机视觉与模式识别
2021-09-06 v2
摘要
尽管深度神经网络日益普及，但受限于计算负载，其在资源受限设备上的适用性有限。虽然现代设备表现出高度并行性，实时延迟仍高度依赖于网络深度。尽管近期工作表明，在某一特定深度以下，较浅网络的宽度必须呈指数增长，但我们推测神经网络通常会超过此最小深度以加速收敛并逐步提升精度。这促使我们将已利用此类优势预训练的深度网络转换为较浅的形式。我们提出一种方法，学习是否可以移除非线性激活，从而将连续的线性层折叠为一层。我们将该方法应用于在 CIFAR-10 和 CIFAR-100 上预训练的网络，发现它们均可转换为具有相似深度的较浅形式。最后，我们利用该方法在 ImageNet 分类任务上为 MobileNetV2 和 EfficientNet-Lite 架构提供了更高效的替代方案。
引用
@article{arxiv.2106.09309,
title = {Layer Folding: Neural Network Depth Reduction using Activation Linearization},
author = {Amir Ben Dror and Niv Zehngut and Avraham Raviv and Evgeny Artyomov and Ran Vitek and Roy Jevnisek},
journal= {arXiv preprint arXiv:2106.09309},
year = {2021}
}