RANP：面向3D CNN的初始化时资源感知神经元剪枝
计算机视觉与模式识别
2020-10-27 v3 人工智能
机器学习
摘要
尽管三维卷积神经网络（CNNs）对大多数涉及稠密3D数据的基于学习的应用至关重要，但由于过高的内存与计算需求，其实用性受限。因此，通过剪枝压缩此类网络变得极为可取。然而，3D CNN的剪枝在很大程度上未被探索，可能由于典型剪枝算法将剪枝嵌入迭代优化范式的复杂性。本工作中，我们引入一种资源感知神经元剪枝（RANP）算法，在初始化时将3D CNN剪枝至高度稀疏水平。具体而言，核心思想是基于神经元对损失函数的敏感度获得每个神经元的重要性分数。然后根据与FLOPs或内存相关的神经元资源消耗对该神经元重要性重新加权。我们在3D语义分割上用ShapeNet和BraTS'18上广泛使用的3D-UNets，以及在视频分类上用UCF101数据集上的MobileNetV2和I3D，展示了我们剪枝方法的有效性。在这些实验中，与未剪枝网络相比，我们的RANP带来约50-95的FLOPs降低和35-80的内存降低，且精度损失可忽略。这显著减少了训练3D CNN所需的计算资源。我们算法获得的剪枝网络也可轻松扩展并迁移至另一数据集进行训练。
引用
@article{arxiv.2010.02488,
title = {RANP: Resource Aware Neuron Pruning at Initialization for 3D CNNs},
author = {Zhiwei Xu and Thalaiyasingam Ajanthan and Vibhav Vineet and Richard Hartley},
journal= {arXiv preprint arXiv:2010.02488},
year = {2020}
}
备注
International Conference on 3D Vision (3DV), 2020 (Oral)