MicroNet：以极低 FLOPs 改进图像识别
计算机视觉与模式识别
2021-08-21 v1 机器学习
摘要
本文旨在解决在极低计算成本（如 ImageNet 分类上 5M FLOPs）下性能大幅下降的问题。我们发现稀疏连接与动态激活函数两个因素可有效提升准确率：前者避免了网络宽度的显著缩减，后者缓解了网络深度缩减带来的弊端。在技术上，我们提出微因子化卷积，将卷积矩阵分解为低秩矩阵，以将稀疏连接集成到卷积中。我们还提出一种名为 Dynamic Shift Max 的新动态激活函数，通过对输入特征图与其循环通道移位之间多个动态融合取最大值来提升非线性。基于这两个新算子，我们得到了一系列称为 MicroNet 的网络，在低 FLOP 区间上相比现有技术取得了显著性能增益。例如，在 12M FLOPs 约束下，MicroNet 在 ImageNet 分类上达到 59.4\% 的 top-1 准确率，优于 MobileNetV3 达 9.6\%。源代码见 \href{https://github.com/liyunsheng13/micronet}{https://github.com/liyunsheng13/micronet}。
引用
@article{arxiv.2108.05894,
title = {MicroNet: Improving Image Recognition with Extremely Low FLOPs},
author = {Yunsheng Li and Yinpeng Chen and Xiyang Dai and Dongdong Chen and Mengchen Liu and Lu Yuan and Zicheng Liu and Lei Zhang and Nuno Vasconcelos},
journal= {arXiv preprint arXiv:2108.05894},
year = {2021}
}
备注
ICCV 2021, code is available at https://github.com/liyunsheng13/micronet}{https://github.com/liyunsheng13/micronet. arXiv admin note: substantial text overlap with arXiv:2011.12289