BLOX：宏神经架构搜索基准与算法
机器学习
2022-10-17 v1
摘要
神经架构搜索（NAS）已成功用于设计众多高性能神经网络。然而，NAS 通常计算密集，因此大多数现有方法将搜索限制为仅决定单个模块的操作与拓扑结构，然后该模块被重复堆叠以形成端到端模型。尽管这种方法缩小了搜索空间，近期研究表明，允许模型中各模块不同的宏搜索空间可带来更优性能。为系统研究 NAS 算法在宏搜索空间上的表现，我们发布 Blox——一个由在 CIFAR-100 数据集上训练的 91k 个独特模型组成的基准。该数据集还包含全部模型在多种硬件平台上的运行时间测量。我们开展大量实验，比较在基于单元的搜索空间上被充分研究的现有算法，与旨在使 NAS 可扩展至远大于宏搜索空间的新兴分块方法。基准与代码见 https://github.com/SamsungLabs/blox。
引用
@article{arxiv.2210.07271,
title = {BLOX: Macro Neural Architecture Search Benchmark and Algorithms},
author = {Thomas Chun Pong Chau and Łukasz Dudziak and Hongkai Wen and Nicholas Donald Lane and Mohamed S Abdelfattah},
journal= {arXiv preprint arXiv:2210.07271},
year = {2022}
}
备注
Published in the Proceedings of the 36th Conference on Neural Information Processing Systems (NeurIPS 2022) Track on Datasets and Benchmarks