NATS-Bench：面向架构拓扑与尺寸的 NAS 算法基准测试
机器学习
2021-01-27 v6 机器学习
摘要
神经架构搜索（NAS）近年来备受关注，并已被证明在大量应用中带来切实收益。架构拓扑与架构尺寸被视为深度学习模型性能最重要的两个方面，学界也针对神经架构的这两个方面产生了大量搜索算法。然而，这些搜索算法所获得的性能提升是在不同的搜索空间与训练设置下取得的。这使得算法的整体性能在某种程度上不可比较，且搜索模型中某一子模块的改进也不清晰。在本文中，我们提出 NATS-Bench，一个针对拓扑与尺寸搜索的统一基准，适用于（几乎）任何最新的 NAS 算法。NATS-Bench 在三个数据集上包含 15,625 个用于架构拓扑的神经单元候选搜索空间，以及 32,768 个用于架构尺寸的候选空间。我们依据多种标准分析了基准的有效性，并对搜索空间中所有候选者的性能比较进行了分析。我们还通过在 NATS-Bench 上对 13 种近期最先进的 NAS 算法进行基准测试，展示了其通用性。我们提供了使用相同设置为每个候选者训练所得的全部日志与诊断信息。这有助于更大范围的研究人员在更具可比性且计算成本更友好的环境中专注于开发更好的 NAS 算法。所有代码公开于：https://xuanyidong.com/assets/projects/NATS-Bench。
引用
@article{arxiv.2009.00437,
title = {NATS-Bench: Benchmarking NAS Algorithms for Architecture Topology and Size},
author = {Xuanyi Dong and Lu Liu and Katarzyna Musial and Bogdan Gabrys},
journal= {arXiv preprint arXiv:2009.00437},
year = {2021}
}
备注
Accepted to IEEE TPAMI 2021, an extended version of NAS-Bench-201 (ICLR 2020) [arXiv:2001.00326]