网络解耦：从常规卷积到深度可分离卷积
计算机视觉与模式识别
2018-08-17 v1 机器学习
摘要
深度可分离卷积在网络设计中已展现出极高效率，但需要耗费时间的训练过程且需具备完整训练集。本文首先分析了常规卷积与深度可分离卷积之间的数学关系，并证明前者可以以闭式近似为后者。我们表明深度可分离卷积是常规卷积的主成分。随后我们提出网络解耦（ND），一种免训练方法，通过将预训练的 CNN 模型转换为类 MobileNet 的深度可分离卷积结构来加速卷积神经网络（CNNs），在可观的加速比下仅有可忽略的精度损失。我们进一步通过实验验证所提方法与其他免训练方法（如通道分解、空间分解等）正交。将其与这些方法结合将带来更大的 CNN 加速。例如，ND 本身对广泛使用的 VGG16 实现约 2 倍加速，而与其他方法结合可达到 3.7 倍加速且精度退化平缓。我们展示了 ND 广泛适用于如 ResNet 的分类网络以及如 SSD300 的目标检测网络。
引用
@article{arxiv.1808.05517,
title = {Network Decoupling: From Regular to Depthwise Separable Convolutions},
author = {Jianbo Guo and Yuxi Li and Weiyao Lin and Yurong Chen and Jianguo Li},
journal= {arXiv preprint arXiv:1808.05517},
year = {2018}
}