生成对抗神经架构搜索
机器学习
2021-06-24 v3 计算机视觉与模式识别
摘要
尽管神经架构搜索（NAS）在深度学习应用中取得了经验性成功，NAS 方案的优最优性、可复现性与成本仍难以评估。本文提出具有理论可证收敛保证的生成对抗 NAS（GA-NAS），以提升神经架构搜索的稳定性和可复现性。受重要性采样启发，GA-NAS 迭代地将一个生成器拟合到先前发现的顶级架构上，从而日益聚焦于大型搜索空间中的重要区域。此外，我们提出一种高效的对抗学习方法：生成器由基于判别器所提供奖励的强化学习训练，从而能够在不评估大量架构的情况下探索搜索空间。大量实验表明，在三个公开 NAS 基准的若干设定下，GA-NAS 优于已发表的最佳结果。同时，GA-NAS 可处理特定搜索约束与搜索空间。我们展示 GA-NAS 可用于在其他 NAS 方法（包括 EfficientNet 与 ProxylessNAS）原有搜索空间中，就 ImageNet 准确率或参数量而言改进其已优化的基线。
引用
@article{arxiv.2105.09356,
title = {Generative Adversarial Neural Architecture Search},
author = {Seyed Saeed Changiz Rezaei and Fred X. Han and Di Niu and Mohammad Salameh and Keith Mills and Shuo Lian and Wei Lu and Shangling Jui},
journal= {arXiv preprint arXiv:2105.09356},
year = {2021}
}
备注
17 pages, 9 figures, 13 Tables