MicroNet：面向极低FLOPs的图像识别
计算机视觉与模式识别
2020-11-25 v1 机器学习
摘要
在本文中，我们提出MicroNet，这是一种使用极低计算成本（例如在ImageNet分类上6 MFLOPs）的高效卷积神经网络。此类低成本网络在边缘设备上需求极高，但通常遭受显著的性能下降。我们基于两个设计原则来处理极低FLOPs：(a) 通过降低节点连接度来避免网络宽度的缩减，(b) 通过引入每层更复杂的非线性来补偿网络深度的缩减。首先，我们提出Micro-Factorized卷积，将逐点卷积和深度卷积分解为低秩矩阵，以在通道数与输入/输出连接度之间取得良好权衡。其次，我们提出一种名为Dynamic Shift-Max的新激活函数，通过对输入特征图与其循环通道偏移之间的多个动态融合取最大值来改善非线性。这些融合是动态的，因为其参数适配于输入。基于Micro-Factorized卷积和Dynamic Shift-Max，一系列MicroNet在低FLOPs区间内相较最先进方法取得了显著性能提升。例如，MicroNet-M1在12 MFLOPs下于ImageNet分类上达到61.1%的top-1准确率，比MobileNetV3高出11.3%。
引用
@article{arxiv.2011.12289,
title = {MicroNet: Towards Image Recognition with Extremely Low FLOPs},
author = {Yunsheng Li and Yinpeng Chen and Xiyang Dai and Dongdong Chen and Mengchen Liu and Lu Yuan and Zicheng Liu and Lei Zhang and Nuno Vasconcelos},
journal= {arXiv preprint arXiv:2011.12289},
year = {2020}
}