NAS-Bench-Suite：NAS 评估（现在）出奇地简单
机器学习
2022-02-14 v2 人工智能
机器学习
摘要
表格化基准测试（如 NAS-Bench-101 和 NAS-Bench-201）的发布，显著降低了进行神经架构搜索（NAS）科学研究的计算开销。尽管这些基准测试已被广泛采用并用于调整真实的 NAS 算法，但它们仅限于较小的搜索空间，且仅关注图像分类。最近，人们引入了几个新的 NAS 基准测试，涵盖了跨多种任务的更大搜索空间，包括目标检测、语音识别和自然语言处理。然而，这些 NAS 基准测试之间的巨大差异迄今为止阻碍了它们的广泛采用，限制了研究人员仅能使用少数几个基准测试。在这项工作中，我们对流行的 NAS 算法和性能预测方法在 25 种不同的搜索空间与数据集组合上进行了深入分析，发现从少数几个 NAS 基准测试中得出的许多结论并不能推广到其他基准测试。为帮助解决这一问题，我们引入了 NAS-Bench-Suite，这是一个全面且可扩展的 NAS 基准测试集合，可通过统一接口访问，旨在促进可复现、可推广和快速的 NAS 研究。我们的代码可在 https://github.com/automl/naslib 获取。
引用
@article{arxiv.2201.13396,
title = {NAS-Bench-Suite: NAS Evaluation is (Now) Surprisingly Easy},
author = {Yash Mehta and Colin White and Arber Zela and Arjun Krishnakumar and Guri Zabergja and Shakiba Moradian and Mahmoud Safari and Kaicheng Yu and Frank Hutter},
journal= {arXiv preprint arXiv:2201.13396},
year = {2022}
}
备注
ICLR 2022