神经架构生成器优化
机器学习
2021-01-05 v3 神经与进化计算
机器学习
摘要
神经架构搜索（NAS）最初被提出，旨在通过发现新的架构模式并在无需人工干预的情况下达到最先进的性能。然而，搜索空间设计中对专家知识的过度依赖导致了性能（局部最优）的提升，却未带来显著的架构突破，从而阻碍了真正新颖解决方案的达成。在本工作中，我们 1) 首次将 NAS 研究为寻找最优网络生成器的问题；2) 提出了一种新的、基于图的分层搜索空间，能够表示极多种类的网络类型，却仅需少量连续超参数。这极大降低了问题的维度，使得贝叶斯优化作为搜索策略的有效使用成为可能。同时，我们扩展了有效架构的范围，从而催生了一种多目标学习方法。我们在六个基准数据集上证明了该策略的有效性，并表明我们的搜索空间生成的模型极其轻量且极具竞争力。
引用
@article{arxiv.2004.01395,
title = {Neural Architecture Generator Optimization},
author = {Binxin Ru and Pedro Esperanca and Fabio Carlucci},
journal= {arXiv preprint arXiv:2004.01395},
year = {2021}
}
备注
20 pages, 9 figures, neural architecture search, Thirty-fourth Conference on Neural Information Processing Systems