基于动态编码滤波器融合的紧凑型CNN图像分类训练方法
计算机视觉与模式识别
2022-12-20 v2 人工智能
摘要
滤波器剪枝的主流方法通常是将硬编码的重要性估计强加于计算量大的预训练模型以选择“重要”滤波器，或对损失目标施加对超参数敏感的稀疏约束以正则化网络训练。本文提出一种新颖的滤波器剪枝方法，称为动态编码滤波器融合（DCFF），以计算经济且无正则化的方式推导紧凑型CNN，用于高效图像分类。我们的DCFF中每个滤波器首先被赋予一个带温度参数的互相似度分布作为滤波器代理，在此基础上提出一种基于Kullback-Leibler散度的全新动态编码准则来评估滤波器重要性。与其他方法简单地保留高分滤波器不同，我们提出滤波器融合的概念，即使用所分配代理的加权平均，作为我们保留的滤波器。当温度参数趋于无穷时，我们得到一个one-hot互相似度分布。因此，每个滤波器的相对重要性可随紧凑型CNN的训练而变化，从而产生动态可变的融合滤波器，且既不依赖预训练模型，也不引入稀疏约束。在分类基准上的大量实验证明了我们的DCFF优于对比方法。例如，我们的DCFF推导出一个仅含72.77M FLOPs和1.06M参数的紧凑型VGGNet-16，在CIFAR-10上达到93.47%的top-1准确率。获得一个紧凑型ResNet-50，FLOPs减少63.8%、参数减少58.6%，在ILSVRC-2012上保持75.60%的top-1准确率。我们的代码、更窄的模型和训练日志可在 https://github.com/lmbxmu/DCFF 获取。
引用
@article{arxiv.2107.06916,
title = {Training Compact CNNs for Image Classification using Dynamic-coded Filter Fusion},
author = {Mingbao Lin and Bohong Chen and Fei Chao and Rongrong Ji},
journal= {arXiv preprint arXiv:2107.06916},
year = {2022}
}