基于组合多臂老虎机的神经架构搜索
机器学习
2021-04-27 v2 计算机视觉与模式识别
机器学习
摘要
神经架构搜索(NAS)作为一种设计高性能深度神经网络(DNN)的有效工具已获得显著关注。NAS 可通过策略梯度、进化算法、可微架构搜索或树搜索方法实现。尽管策略梯度和可微架构搜索均取得了重要进展,树搜索方法迄今未能达到可比的精度或搜索效率。本文中,我们将 NAS 表述为组合多臂老虎机(CMAB)问题(CMAB-NAS)。这使得可将大型搜索空间分解为更小的块,从而能更有效且高效地应用树搜索方法。我们进一步利用一种称为嵌套蒙特卡洛搜索的基于树的方法来解决 CMAB-NAS 问题。在 CIFAR-10 上,我们的方法发现了一种单元结构,以仅 0.58 GPU 天的代价实现了与当前最优相当的较低错误率,比现有树搜索方法快 20 倍。此外,所发现的结构能很好地迁移到 ImageNet 等大规模数据集。
引用
@article{arxiv.2101.00336,
title = {Neural Architecture Search via Combinatorial Multi-Armed Bandit},
author = {Hanxun Huang and Xingjun Ma and Sarah M. Erfani and James Bailey},
journal= {arXiv preprint arXiv:2101.00336},
year = {2021}
}
备注
10 pages, 7 figures