NAS-Bench-Suite-Zero：加速零成本代理相关研究
机器学习
2022-10-10 v1 人工智能
机器学习
摘要
零成本代理（ZC proxies）是一种近期的架构性能预测技术，旨在显著加速神经架构搜索（NAS）算法。近期工作表明这些技术展现出巨大潜力，但某些方面，例如评估和利用它们的互补优势，研究尚不充分。在本工作中，我们创建了 NAS-Bench-Suite：我们在 28 个任务上评估了 13 种 ZC 代理，由此构建了迄今为止最大的 ZC 代理数据集（及统一代码库），使得 ZC 代理上的实验速度提升数个数量级，同时避免了不同实现带来的混杂因素。为展示 NAS-Bench-Suite 的实用性，我们对 ZC 代理进行了大规模分析，包括偏差分析，以及首个信息论分析，该分析得出结论：ZC 代理捕获了显著的互补信息。受这些发现启发，我们提出了一种通过减少诸如单元大小等偏差来提升 ZC 代理性能的流程，并且我们还表明，将全部 13 种 ZC 代理纳入 NAS 算法所用的代理模型中，可将其预测性能提升高达 42%。我们的代码与数据集可在 https://github.com/automl/naslib/tree/zerocost 获取。
引用
@article{arxiv.2210.03230,
title = {NAS-Bench-Suite-Zero: Accelerating Research on Zero Cost Proxies},
author = {Arjun Krishnakumar and Colin White and Arber Zela and Renbo Tu and Mahmoud Safari and Frank Hutter},
journal= {arXiv preprint arXiv:2210.03230},
year = {2022}
}
备注
NeurIPS Datasets and Benchmarks Track 2022