N2NSkip：利用神经元到神经元跳跃连接学习高度稀疏网络
机器学习
2022-08-09 v1
摘要
深度神经网络（DNN）的过参数化特性在具有时间和空间限制的低端设备部署时带来显著阻碍。使用迭代剪枝-训练方案稀疏化 DNN 的网络剪枝策略通常计算代价高昂。因此，在训练前于初始化时剪枝的技术日益流行。在本工作中，我们提出神经元到神经元跳跃连接，其作为稀疏加权跳跃连接，以增强剪枝后 DNN 的整体连通性。在初步剪枝步骤之后，N2NSkip 连接被随机添加在剪枝网络的单个神经元/通道之间，同时保持网络的整体稀疏性。我们证明，在剪枝网络中引入 N2NSkip 连接可实现显著更优的性能，尤其在高压稀疏度水平下，优于无 N2NSkip 连接的剪枝网络。此外，我们提出一种基于热扩散的连通性分析，以定量确定剪枝网络相对于参考网络的连通性。我们在两种于初始化时剪枝的不同初步剪枝方法上评估了方法的有效性，并通过利用 N2NSkip 连接带来的增强连通性一致地获得了更优性能。
引用
@article{arxiv.2208.03662,
title = {N2NSkip: Learning Highly Sparse Networks using Neuron-to-Neuron Skip Connections},
author = {Arvind Subramaniam and Avinash Sharma},
journal= {arXiv preprint arXiv:2208.03662},
year = {2022}
}
备注
BMVC. 2020