NAS-Bench-201:扩展可复现神经架构搜索的适用范围
计算机视觉与模式识别
2020-01-16 v2
摘要
神经架构搜索(NAS)在过去几年中于大量应用上取得了突破性的成功。或许是时候退一步,分析 NAS 领域的优劣之处。各类算法在不同搜索空间下搜索架构。这些被搜索出的架构使用不同的设置(例如超参数、数据增强、正则化)进行训练。这在比较各种 NAS 算法性能时引发可比性问题。NAS-Bench-101 已显示出缓解该问题的成效。本工作中,我们提出 NAS-Bench-101 的扩展:NAS-Bench-201,其具有不同搜索空间、在多数据集上的结果以及更多诊断信息。NAS-Bench-201 拥有固定搜索空间,并为几乎所有最新 NAS 算法提供统一基准。我们的搜索空间设计受最流行的基于单元的搜索算法所使用者启发,其中单元表示为有向无环图(DAG)。此处每条边关联一个从预定义操作集中选出的操作。为使其适用于所有 NAS 算法,NAS-Bench-201 中定义的搜索空间包含由 4 个节点和 5 个关联操作选项生成的所有可能架构,总计 15,625 个候选。每个架构候选在三个数据集上的训练日志与性能均已提供。这使研究者能避免对所选候选进行不必要的重复训练,仅专注于搜索算法本身。每个候选所节省的训练时间也大幅提升了诸多方法的效率。我们提供如细粒度损失与准确率等额外诊断信息,可为 NAS 算法的新设计带来启发。进一步,我们从多方面对其进行分析并基准测试了 10 种近期 NAS 算法。
引用
@article{arxiv.2001.00326,
title = {NAS-Bench-201: Extending the Scope of Reproducible Neural Architecture Search},
author = {Xuanyi Dong and Yi Yang},
journal= {arXiv preprint arXiv:2001.00326},
year = {2020}
}
备注
Published at ICLR 2020 as a spotlight paper; 16 pages; 10 figures; 7 tables; Code is available at https://github.com/D-X-Y/AutoDL-Projects