FBNet：通过可微分神经架构搜索的硬件感知高效卷积网络设计
计算机视觉与模式识别
2019-05-27 v3
摘要
为移动设备设计准确且高效的卷积网络（ConvNet）具有挑战性，因为设计空间组合庞大。因此，以往的神经架构搜索（NAS）方法计算代价高昂。ConvNet 架构的最优性取决于输入分辨率和目标设备等因素。然而，现有方法对于逐案重新设计过于昂贵。此外，先前工作主要关注降低 FLOPs，但 FLOP 数量并不总反映实际延迟。为此，我们提出一种可微分神经架构搜索（DNAS）框架，利用基于梯度的方法优化 ConvNet 架构，避免了以往方法中逐个枚举并分别训练架构的做法。由 DNAS 发现的模型族 FBNets 在精度上超越了手工设计和自动生成的先进模型。FBNet-B 在 ImageNet 上以 295M FLOPs 和三星 S8 手机上 23.1 ms 延迟取得 74.1% 的 top-1 准确率，比精度相近的 MobileNetV2-1.3 小 2.4 倍、快 1.5 倍。尽管比 MnasNet 准确率更高、延迟更低，我们估计 FBNet-B 的搜索代价仅为 MnasNet 的 1/420，仅 216 GPU-小时。针对不同分辨率和通道大小搜索得到的 FBNets 比 MobileNetV2 准确率高出 1.5% 至 6.4%。最小的 FBNet 在三星 S8 上达到 50.2% 准确率和 2.9 ms 延迟（每秒 345 帧）。相较于三星优化的 FBNet，iPhone X 优化模型在 iPhone X 上实现了 1.4 倍加速。
引用
@article{arxiv.1812.03443,
title = {FBNet: Hardware-Aware Efficient ConvNet Design via Differentiable Neural Architecture Search},
author = {Bichen Wu and Xiaoliang Dai and Peizhao Zhang and Yanghan Wang and Fei Sun and Yiming Wu and Yuandong Tian and Peter Vajda and Yangqing Jia and Kurt Keutzer},
journal= {arXiv preprint arXiv:1812.03443},
year = {2019}
}