AutoHAS：高效的超参数与架构搜索
计算机视觉与模式识别
2021-04-08 v3
摘要
高效的超参数或架构搜索方法已展现出显著成果，但各自仅适用于搜索超参数（HPs）或架构之一。本文提出统一流水线 AutoHAS，以高效搜索架构与超参数两者。AutoHAS 学习交替更新共享网络权重与一个强化学习（RL）控制器，后者学习架构候选与 HP 候选的概率分布。引入一个临时权重来存储由所选 HPs（经控制器选择）更新的权重，基于该临时权重的验证准确率作为奖励以更新控制器。实验中，我们表明 AutoHAS 高效且可泛化至不同的搜索空间、基线与数据集。特别地，AutoHAS 能在 CIFAR-10/100、ImageNet 及另外四个数据集上，相对于 ResNet 和 EfficientNet 等流行网络架构提升准确率。
引用
@article{arxiv.2006.03656,
title = {AutoHAS: Efficient Hyperparameter and Architecture Search},
author = {Xuanyi Dong and Mingxing Tan and Adams Wei Yu and Daiyi Peng and Bogdan Gabrys and Quoc V. Le},
journal= {arXiv preprint arXiv:2006.03656},
year = {2021}
}
备注
Accepted to 2nd Workshop on Neural Architecture Search at ICLR 2021