NAS-Bench-1Shot1：单次神经架构搜索的基准测试与剖析
机器学习
2020-04-14 v2 计算机视觉与模式识别
神经与进化计算
机器学习
摘要
单次神经架构搜索（NAS）在使 NAS 方法在实践中计算可行方面发挥了关键作用。然而，由于控制该过程动态的诸多因素，对这些权重共享算法究竟如何工作仍缺乏理解。为了能对这些问题进行科学研究，我们引入了一个用于单次 NAS 的通用框架，其可实例化为许多近期提出的变体，并引入了一个通用基准测试框架，该框架借鉴近期大规模表格基准 NAS-Bench-101，以对单次 NAS 方法进行廉价的任意时刻评估。为展示该框架，我们比较了几种最先进（state-of-the-art）的单次 NAS 方法，考察它们对超参数的敏感度以及如何通过调优超参数来改进，并将它们的性能与用于 NAS-Bench-101 的黑盒优化器进行比较。
引用
@article{arxiv.2001.10422,
title = {NAS-Bench-1Shot1: Benchmarking and Dissecting One-shot Neural Architecture Search},
author = {Arber Zela and Julien Siems and Frank Hutter},
journal= {arXiv preprint arXiv:2001.10422},
year = {2020}
}
备注
In: International Conference on Learning Representations (ICLR 2020); 19 pages, 17 figures