基于蒙特卡洛树搜索的优先架构采样
计算机视觉与模式识别
2021-03-23 v1
摘要
一次性神经架构搜索（NAS）方法将整个搜索空间视为一个仅需训练一次的网络，从而显著降低搜索成本。然而，现有方法独立选择每个操作而未考虑前层。此外，以巨大计算代价获得的历史信息通常仅使用一次便被丢弃。本文中，我们引入一种基于蒙特卡洛树搜索（MCTS）的采样策略，将搜索空间建模为蒙特卡洛树（MCT），以捕获层间依赖关系。进而，中间结果存于 MCT 中供未来决策并实现更好的探索-利用平衡。具体而言，MCT 以训练损失作为架构性能的奖励进行更新；为准确评估大量节点，我们分别在训练与搜索阶段提出节点通信与分层节点选择方法，更好地利用了操作奖励与分层信息。此外，为公平比较不同 NAS 方法，我们构建了在 CIFAR-10 上评估的宏搜索空间开源 NAS 基准 NAS-Bench-Macro。在 NAS-Bench-Macro 与 ImageNet 上的大量实验表明，本方法显著提升了搜索效率与性能。例如，仅搜索 个架构，所得架构在 ImageNet 上以 442M FLOPs 达到 的 top-1 准确率。代码（基准）见：\url{https://github.com/xiusu/NAS-Bench-Macro}。
引用
@article{arxiv.2103.11922,
title = {Prioritized Architecture Sampling with Monto-Carlo Tree Search},
author = {Xiu Su and Tao Huang and Yanxi Li and Shan You and Fei Wang and Chen Qian and Changshui Zhang and Chang Xu},
journal= {arXiv preprint arXiv:2103.11922},
year = {2021}
}
备注
Accepted by CVPR2021. We also release a NAS benchmark on the one-shot MobileNetV2 search space