通过学习方法动作空间实现样本高效的神经架构搜索
机器学习
2021-04-02 v2 计算机视觉与模式识别
机器学习
摘要
神经架构搜索（NAS）已成为一种有前景的自动神经网络设计技术。然而，现有基于 MCTS 的 NAS 方法常利用人工设计的动作空间，该空间与待优化的性能指标（如准确率）无直接关联，导致架构探索的样本效率低下。为提升样本效率，本文提出隐动作神经架构搜索（LaNAS），其学习动作以递归地将搜索空间划分为包含具有相似性能度量的网络的好或坏区域。在搜索阶段，由于不同动作序列导致具有不同性能的区域，通过偏向好区域可显著提升搜索效率。在三项 NAS 任务上，实证结果表明 LaNAS 的样本效率至少比包括进化算法、贝叶斯优化和随机搜索在内的基线方法高一个数量级。在实际应用中，一次性及常规 LaNAS 均持续优于现有结果。特别地，LaNAS 在 CIFAR-10 上以仅 800 个样本达到 99.0% 准确率，在 ImageNet 上以 600 MFLOPS 达到 80.8% 的 top1 准确率，以少 33 倍的样本数显著优于 AmoebaNet。我们的代码公开于 https://github.com/facebookresearch/LaMCTS。
引用
@article{arxiv.1906.06832,
title = {Sample-Efficient Neural Architecture Search by Learning Action Space},
author = {Linnan Wang and Saining Xie and Teng Li and Rodrigo Fonseca and Yuandong Tian},
journal= {arXiv preprint arXiv:1906.06832},
year = {2021}
}
备注
Accepted at TPAMI-2021