NAS-Bench-360：面向多样化任务的神经架构搜索基准测试
计算机视觉与模式识别
2023-01-23 v6 机器学习
摘要
大多数现有的神经架构搜索（NAS）基准和算法优先关注研究充分的任务，例如 CIFAR 或 ImageNet 上的图像分类。这使得 NAS 方法在更多样化领域中的表现鲜为人知。在本文中，我们提出 NAS-Bench-360，一个用于在架构搜索传统研究之外领域评估方法的基准套件，并用它来回答以下问题：最先进的 NAS 方法在多样化任务上表现良好吗？为构建该基准，我们精选了十个跨越不同应用领域、数据集规模、问题维度和学习目标的任务。每个任务都经过仔细选择以与现代基于 CNN 的搜索方法兼容，同时可能远离其原始开发领域。为加速并降低 NAS 研究成本，我们对其中两个任务发布了包含标准 CNN 搜索空间中 15,625 种架构的预计算性能。通过实验，我们表明若干现代 NAS 流程在十个任务上表现不一致且许多结果灾难性不佳，从而展示了 NAS-Bench-360 所支持的更鲁棒 NAS 评估的必要性。我们还通过检验 NAS 文献中近期提出的若干假设在多样化任务上是否成立，展示了 NAS-Bench-360 及其关联预计算结果将如何赋能未来的科学发现。NAS-Bench-360 托管于 https://nb360.ml.cmu.edu。
引用
@article{arxiv.2110.05668,
title = {NAS-Bench-360: Benchmarking Neural Architecture Search on Diverse Tasks},
author = {Renbo Tu and Nicholas Roberts and Mikhail Khodak and Junhong Shen and Frederic Sala and Ameet Talwalkar},
journal= {arXiv preprint arXiv:2110.05668},
year = {2023}
}
备注
NeurIPS 2022 Datasets and Benchmarks Track