代理 NAS 基准：超越表格型 NAS 基准的有限搜索空间
机器学习
2022-04-15 v4
摘要
神经架构搜索（NAS）发展的最大障碍是其对大量计算资源的需求，这阻碍了对 NAS 方法的科学严谨的实证评估。表格型 NAS 基准已大幅缓解此问题，使得在普通机器上于数秒内对 NAS 方法进行恰当评估成为可能。然而，表格型 NAS 基准的一个非预期后果是聚焦于极小的架构搜索空间，因为其构建依赖于对空间的穷举评估。这导致不切实际的结果，无法迁移到更大的空间。为克服这一根本局限，我们提出一种为任意搜索空间创建廉价 NAS 代理基准的方法论。我们通过以下方式示例化该方法：在现有表格型 NAS-Bench-101 上，以及在两个广泛使用的 NAS 搜索空间（含多达 个架构，比以往任何表格型 NAS 基准大 倍）上创建代理 NAS 基准。我们表明，代理 NAS 基准比表格型基准能更好地建模架构的真实性能（且成本仅为其一小部分），它们能对不同的 NAS 方法在原始非代理基准上的表现给出忠实的估计，并且它们能产生新的科学洞见。我们开源了所有代码，并认为代理 NAS 基准是将 NAS 上科学严谨的工作拓展至庞大且引人入胜的搜索空间所不可或缺的工具。
引用
@article{arxiv.2008.09777,
title = {Surrogate NAS Benchmarks: Going Beyond the Limited Search Spaces of Tabular NAS Benchmarks},
author = {Arber Zela and Julien Siems and Lucas Zimmer and Jovita Lukasik and Margret Keuper and Frank Hutter},
journal= {arXiv preprint arXiv:2008.09777},
year = {2022}
}