模型魔方：为 TinyNet 扭转分辨率、深度与宽度
计算机视觉与模式识别
2020-12-25 v2
摘要
为获得优异的深度神经网络架构，EfficientNets 中精心设计了一系列技术。同时放大分辨率、深度和宽度的巨型公式为我们提供了一副神经网络的魔方，从而可通过扭转这三个维度找到高效且性能出色的网络。本文旨在探索用于获得具有最小模型规模与计算成本的深度神经网络的扭转规则。与网络放大不同，我们观察到对于微小网络，分辨率和深度比宽度更为重要。因此，原有方法（即 EfficientNet 中的复合缩放）不再适用。为此，我们通过对一系列由 EfficientNet-B0 在 FLOPs 约束下派生的更小模型进行总结，得出用于缩小神经架构的微小公式。在 ImageNet 基准上的实验结果表明，我们的 TinyNet 远优于使用逆向巨型公式的 EfficientNets 更小版本。例如，我们的 TinyNet-E 仅以 24M FLOPs 实现了 59.9% 的 Top-1 准确率，比此前计算成本相近的最佳 MobileNetV3 高出约 1.9%。代码将发布于 https://github.com/huawei-noah/ghostnet/tree/master/tinynet_pytorch 与 https://gitee.com/mindspore/mindspore/tree/master/model_zoo/research/cv/tinynet。
引用
@article{arxiv.2010.14819,
title = {Model Rubik's Cube: Twisting Resolution, Depth and Width for TinyNets},
author = {Kai Han and Yunhe Wang and Qiulin Zhang and Wei Zhang and Chunjing Xu and Tong Zhang},
journal= {arXiv preprint arXiv:2010.14819},
year = {2020}
}
备注
NeurIPS 2020