NAS-Bench-101：迈向可复现的神经架构搜索
机器学习
2019-05-15 v2 机器学习
摘要
神经架构搜索（NAS）的最新进展需要巨大的计算资源，这使得实验难以复现，并对缺乏大规模计算资源的研究人员构成了进入壁垒。我们旨在通过引入 NAS-Bench-101（首个用于 NAS 研究的公开架构数据集）来缓解这些问题。为构建 NAS-Bench-101，我们精心构造了一个紧凑而富有表达力的搜索空间，利用图同构识别出 423k 个独特的卷积架构。我们在 CIFAR-10 上对这些架构进行了多次训练与评估，并将结果编译为一个包含超过 500 万个训练模型的大型数据集。这使得研究人员能够通过查询预计算数据集在毫秒内评估多样化模型的质量。我们通过整体分析该数据集以及基准测试一系列架构优化算法，展示了其实用性。
引用
@article{arxiv.1902.09635,
title = {NAS-Bench-101: Towards Reproducible Neural Architecture Search},
author = {Chris Ying and Aaron Klein and Esteban Real and Eric Christiansen and Kevin Murphy and Frank Hutter},
journal= {arXiv preprint arXiv:1902.09635},
year = {2019}
}
备注
Published in the Proceedings of the 36th International Conference on Machine Learning