NAS-HPO-Bench-II：卷积神经网络架构与训练超参数联合优化的基准数据集
机器学习
2021-10-22 v1 人工智能
摘要
用于神经架构搜索（NAS）的基准数据集已被开发出来，以缓解计算昂贵的评估过程并确保公平比较。近期的 NAS 基准仅关注架构优化，尽管训练超参数会影响所获得的模型性能。构建用于架构和训练超参数联合优化的基准数据集对进一步的 NAS 研究至关重要。现有的 NAS-HPO-Bench 是一个联合优化基准，但它未像现代 NAS 算法那样考虑网络连通性设计。本文介绍了首个用于网络连通性与训练超参数联合优化的基准数据集，我们称之为 NAS-HPO-Bench-II。我们收集了在 CIFAR-10 数据集上以不同学习率和批量大小设置训练的 4K 个基于单元的卷积神经网络架构的性能数据，得到 192K 个配置的数据。该数据集包含 12 轮 epoch 训练的确切数据。我们进一步构建了预测 200 轮 epoch 训练后准确率的代理模型，以提供更长训练轮数的性能数据。通过分析 NAS-HPO-Bench-II，我们确认了架构与训练超参数之间的依赖性以及联合优化的必要性。最后，我们展示了使用 NAS-HPO-Bench-II 对基线优化算法进行基准测试。
引用
@article{arxiv.2110.10165,
title = {NAS-HPO-Bench-II: A Benchmark Dataset on Joint Optimization of Convolutional Neural Network Architecture and Training Hyperparameters},
author = {Yoichi Hirose and Nozomu Yoshinari and Shinichi Shirakawa},
journal= {arXiv preprint arXiv:2110.10165},
year = {2021}
}
备注
16 pages, 6 figures. Accepted at ACML2021 (long oral). API is available at https://github.com/yoichii/nashpobench2api