AlphaX：利用深度神经网络与蒙特卡洛树搜索探索神经架构
计算机视觉与模式识别
2019-10-03 v2
摘要
神经架构搜索（NAS）在自动化设计神经网络方面已取得巨大成功，但当前 NAS 方法背后惊人的计算量仍需进一步研究以提升采样效率与网络评估代价，从而在更短时间内获得更优结果。本文提出一种新颖的、可扩展的基于蒙特卡洛树搜索（MCTS）的 NAS 智能体，名为 AlphaX，以应对这两个方面。AlphaX 通过在状态层面自适应平衡探索与利用，以及通过元深度神经网络（DNN）预测网络精度以将搜索偏向有前景区域，从而提升搜索效率。为摊还网络评估代价，AlphaX 通过分布式设计加速 MCTS 展开，并借助 MCTS 树结构引导的迁移学习减少评估网络时的训练轮数。在 12 GPU 日与 1000 个样本下，AlphaX 发现了在 CIFAR-10 上达到 97.84% top-1 精度、在 ImageNet 上达到 75.5% top-1 精度的架构，在精度与采样效率上均超越 SOTA NAS 方法。特别地，我们还在大规模 NAS 数据集 NASBench-101 上评估 AlphaX；在寻找全局最优时，AlphaX 的采样效率分别是随机搜索与正则化进化（Regularized Evolution）的 3 倍与 2.8 倍。最后，我们展示所搜索架构改进了从神经风格迁移、图像描述到目标检测等多种视觉应用。
引用
@article{arxiv.1903.11059,
title = {AlphaX: eXploring Neural Architectures with Deep Neural Networks and Monte Carlo Tree Search},
author = {Linnan Wang and Yiyang Zhao and Yuu Jinnai and Yuandong Tian and Rodrigo Fonseca},
journal= {arXiv preprint arXiv:1903.11059},
year = {2019}
}
备注
another search algorithm for NAS. arXiv admin note: substantial text overlap with arXiv:1805.07440