DyNet：用于加速卷积神经网络动态卷积
计算机视觉与模式识别
2020-04-23 v1 机器学习
摘要
卷积算子是卷积神经网络（CNNs）的核心，并占据最多的计算开销。为使CNNs更高效，已有许多方法被提出以设计轻量网络或压缩模型。尽管已提出一些高效网络结构，如MobileNet或ShuffleNet，我们发现卷积核之间仍存在冗余信息。为解决此问题，我们提出一种新颖的动态卷积方法，基于图像内容自适应生成卷积核。为证明有效性，我们将动态卷积应用于多个最先进的CNNs。一方面，我们能在保持性能的同时显著降低计算开销。对于ShuffleNetV2/MobileNetV2/ResNet18/ResNet50，DyNet可分别减少37.0/54.7/67.2/71.3%的FLOPs且不损失精度。另一方面，若保持计算开销，性能可大幅提升。基于MobileNetV3-Small/Large架构，DyNet在ImageNet上达到70.3/77.1%的Top-1精度，提升2.9/1.9%。为验证可扩展性，我们还将DyNet应用于分割任务，结果表明DyNet可在保持分割任务Mean IoU的同时减少69.3%的FLOPs。
引用
@article{arxiv.2004.10694,
title = {DyNet: Dynamic Convolution for Accelerating Convolutional Neural Networks},
author = {Yikang Zhang and Jian Zhang and Qiang Wang and Zhao Zhong},
journal= {arXiv preprint arXiv:2004.10694},
year = {2020}
}