FBNetV3：基于预测器预训练的架构-训练配方联合搜索
计算机视觉与模式识别
2021-04-01 v3 机器学习
神经与进化计算
摘要
神经架构搜索（NAS）产生了优于最佳人工设计对应物的state-of-the-art神经网络。然而，以往的NAS方法在一组训练超参数（即训练配方）下搜索架构，忽略了更优的架构-配方组合。为此，我们提出神经架构-配方搜索（NARS），同时搜索（a）架构及其（b）相应的训练配方。NARS利用一个准确率预测器对架构和训练配方联合打分，指导样本选择与排序。此外，为弥补扩大的搜索空间，我们借助“免费”的架构统计信息（如FLOP计数）预训练预测器，显著提升了其样本效率与预测可靠性。在通过约束迭代优化训练预测器后，我们仅用CPU分钟级时间运行快速进化搜索，生成满足多种资源约束的架构-配方对，称为FBNetV3。FBNetV3构成一系列state-of-the-art紧凑型神经网络，优于自动与人工设计的竞争对手。例如，FBNetV3在ImageNet上匹配EfficientNet与ResNeSt的准确率，而FLOP分别减少至多2.0倍和7.1倍。此外，FBNetV3为下游目标检测任务带来显著性能提升，在FLOP减少18%、参数减少34%的情况下mAP仍优于基于EfficientNet的等价模型。
引用
@article{arxiv.2006.02049,
title = {FBNetV3: Joint Architecture-Recipe Search using Predictor Pretraining},
author = {Xiaoliang Dai and Alvin Wan and Peizhao Zhang and Bichen Wu and Zijian He and Zhen Wei and Kan Chen and Yuandong Tian and Matthew Yu and Peter Vajda and Joseph E. Gonzalez},
journal= {arXiv preprint arXiv:2006.02049},
year = {2021}
}