NAS-Bench-x11 与学习曲线的威力
机器学习
2021-11-08 v1 人工智能
神经与进化计算
机器学习
摘要
尽管神经架构搜索（NAS）的早期研究需要极大的计算资源，但近期发布的表格型与代理基准已大幅提升了 NAS 研究的速度与可复现性。然而，最流行的两个基准并未提供每个架构的完整训练信息。因此，在这些基准上无法运行许多类型的多保真度技术，例如需要在任意 epoch 评估架构的学习曲线外推。在本工作中，我们提出一种利用奇异值分解与噪声建模来创建代理基准 NAS-Bench-111、NAS-Bench-311 和 NAS-Bench-NLP11 的方法，这些基准输出每个架构的完整训练信息，而不仅仅是最终的验证精度。我们通过引入学习曲线外推框架来改进单保真度算法，展示了使用完整训练信息的威力，表明其优于发布时声称达到最先进水平的流行单保真度算法。我们的代码与预训练模型可在 https://github.com/automl/nas-bench-x11 获取。
引用
@article{arxiv.2111.03602,
title = {NAS-Bench-x11 and the Power of Learning Curves},
author = {Shen Yan and Colin White and Yash Savani and Frank Hutter},
journal= {arXiv preprint arXiv:2111.03602},
year = {2021}
}
备注
NeurIPS 2021