重新思考瓶颈结构以实现高效移动网络设计
计算机视觉与模式识别
2020-11-30 v4
摘要
倒残差块近年来主导了移动网络的架构设计。它通过引入两条设计准则改变了经典的残差瓶颈：学习倒残差和使用线性瓶颈。在本文中，我们重新审视了此类设计改变的必要性，发现其可能带来信息丢失和梯度混淆的风险。因此我们提出翻转该结构，并给出一种新颖的瓶颈设计，称为沙漏块（sandglass block），它在更高维度上执行恒等映射和空间变换，从而有效缓解信息丢失和梯度混淆。大量实验表明，与普遍认知不同，此类瓶颈结构对移动网络比倒残差结构更有利。在 ImageNet 分类任务中，仅将倒残差块替换为我们的沙漏块而不增加参数与计算量，分类准确率较 MobileNetV2 可提升超过 1.7%。在 Pascal VOC 2007 测试集上，我们观察到目标检测的 mAP 也有 0.9% 的提升。我们进一步将沙漏块加入神经架构搜索方法 DARTS 的搜索空间以验证其有效性。在参数减少 25% 的情况下，分类准确率较先前 DARTS 模型提升 0.13%。代码见：https://github.com/zhoudaquan/rethinking_bottleneck_design。
引用
@article{arxiv.2007.02269,
title = {Rethinking Bottleneck Structure for Efficient Mobile Network Design},
author = {Zhou Daquan and Qibin Hou and Yunpeng Chen and Jiashi Feng and Shuicheng Yan},
journal= {arXiv preprint arXiv:2007.02269},
year = {2020}
}
备注
A journal version under review of the previous paper published as a ECCV20 conference paper, improved segmentation and detection results