面向深度神经网络的滤波器嫁接
计算机视觉与模式识别
2020-02-27 v3 机器学习
摘要
本文提出一种称为滤波器嫁接的新学习范式，旨在提升深度神经网络（DNNs）的表征能力。其动机在于 DNNs 中存在不重要（无效）的滤波器（例如 l1 范数接近于 0）。这些滤波器限制了 DNNs 的潜力，因为它们被认为对网络影响甚微。滤波器剪枝出于效率考虑移除这些无效滤波器，而滤波器嫁接则从提升精度的角度重新激活它们。该激活过程通过将外部信息（权重）嫁接到无效滤波器来实现。为更好地执行嫁接过程，我们提出了一种基于熵的准则来衡量滤波器的信息量，以及一种自适应加权策略来平衡网络间嫁接的信息。经过嫁接操作后，网络与其初始未处理状态相比具有极少的无效滤波器，从而赋予模型更强的表征能力。我们还在分类与识别任务上进行了大量实验以展示方法的优越性。例如，在 CIFAR-100 数据集上，嫁接后的 MobileNetV2 比未嫁接的 MobileNetV2 准确率高出约 7%。代码见 https://github.com/fxmeng/filter-grafting.git。
引用
@article{arxiv.2001.05868,
title = {Filter Grafting for Deep Neural Networks},
author = {Fanxu Meng and Hao Cheng and Ke Li and Zhixin Xu and Rongrong Ji and Xing Sun and Gaungming Lu},
journal= {arXiv preprint arXiv:2001.05868},
year = {2020}
}
备注
Accepted by CVPR2020