BigNAS：以大型单阶段模型扩展神经架构搜索
计算机视觉与模式识别
2020-07-20 v3
摘要
神经架构搜索(NAS)在发现既准确又快速的模型方面已展现出有前景的结果。对于 NAS，训练一次性模型已成为一种流行策略，利用一组共享权重对不同架构（子模型）的相对质量进行排序。然而，尽管一次性模型权重可有效对网络架构排序，这些共享权重得到的绝对精度通常远低于独立训练所得。为弥补此缺陷，现有方法假定搜索完成后权重必须重新训练、微调或以其他方式后处理。这些步骤显著增加了架构搜索与模型部署的计算需求与复杂度。本工作中，我们提出 BigNAS，一种挑战“权重后处理对获得良好预测精度必不可少”这一传统观念的方法。无需额外重训练或后处理步骤，我们能在 ImageNet 上训练一组共享权重，并用这些权重获得计算量从 200 到 1000 MFLOPs 不等的子模型。我们发现的模型族 BigNASModels 取得 76.5% 到 80.9% 的 top-1 精度，超越该范围内包括 EfficientNets 与 Once-for-All 网络在内的当前最优模型，且无需额外重训练或后处理。我们给出消融研究与分析以进一步理解所提出的 BigNASModels。
引用
@article{arxiv.2003.11142,
title = {BigNAS: Scaling Up Neural Architecture Search with Big Single-Stage Models},
author = {Jiahui Yu and Pengchong Jin and Hanxiao Liu and Gabriel Bender and Pieter-Jan Kindermans and Mingxing Tan and Thomas Huang and Xiaodan Song and Ruoming Pang and Quoc Le},
journal= {arXiv preprint arXiv:2003.11142},
year = {2020}
}
备注
Accepted in ECCV 2020