FBNetV2：面向空间与通道维度的可微神经架构搜索
计算机视觉与模式识别
2020-04-14 v1 人工智能
机器学习
神经与进化计算
摘要
可微神经架构搜索(DNAS)在设计最先进的高效神经网络方面已展现出巨大成功。然而，基于 DARTS 的 DNAS 与其他搜索方法相比搜索空间较小，因为所有候选网络层都必须在内存中显式实例化。为解决这一瓶颈，我们提出了一种内存和计算高效的 DNAS 变体：DMaskingNAS。该算法将常规 DNAS 的搜索空间扩展了至多 ，支持对原本代价高昂的空间与通道维度（即输入分辨率和滤波器数量）进行搜索。我们提出了一种用于特征图重用的掩码机制，使得随着搜索空间扩展，内存与计算成本几乎保持恒定。此外，我们采用有效的形状传播以最大化每 FLOP 或每参数的精度。所搜索得到的 FBNetV2 在与以往所有架构比较时均取得了最先进的性能。以至多 421 更少的搜索代价，DMaskingNAS 找到了比 MobileNetV3-Small 精度高 0.9%、FLOPs 少 15% 的模型；以及与 Efficient-B0 精度相近但 FLOPs 少 20% 的模型。此外，我们的 FBNetV2 在同等模型大小下精度比 MobileNetV3 高出 2.6%。FBNetV2 模型已在 https://github.com/facebookresearch/mobile-vision 开源。
引用
@article{arxiv.2004.05565,
title = {FBNetV2: Differentiable Neural Architecture Search for Spatial and Channel Dimensions},
author = {Alvin Wan and Xiaoliang Dai and Peizhao Zhang and Zijian He and Yuandong Tian and Saining Xie and Bichen Wu and Matthew Yu and Tao Xu and Kan Chen and Peter Vajda and Joseph E. Gonzalez},
journal= {arXiv preprint arXiv:2004.05565},
year = {2020}
}
备注
8 pages, 10 figures, accepted to CVPR 2020