神经架构搜索技术中学习进度的研究
机器学习
2019-06-19 v1 神经与进化计算
机器学习
摘要
在神经架构搜索中，最佳建模给定数据集的神经网络结构由自动化搜索过程确定。Pham等人（2018）提出的高效神经架构搜索（ENAS）因能在相对较短搜索时间内找到优异架构而近期受到相当关注。在旨在进一步提升架构搜索学习速度的动机下，我们评估了ENAS中生成架构的控制器的学习进度。我们通过比较其在不同控制器训练轮次生成的架构来衡量进度，这些架构在从头重新训练后进行评估。作为一个令人惊讶的结果，我们发现学习曲线完全平坦，即在其生成架构的性能方面观察不到控制器的任何进展。该观察在CIFAR-10与CIFAR-100数据集及两个不同搜索空间中一致。我们得出结论，ENAS生成模型的高质量源于搜索空间设计而非控制器训练，且我们的结果表明一次性架构设计是ENAS架构搜索的高效替代方案。
引用
@article{arxiv.1906.07590,
title = {A Study of the Learning Progress in Neural Architecture Search Techniques},
author = {Prabhant Singh and Tobias Jacobs and Sebastien Nicolas and Mischa Schmidt},
journal= {arXiv preprint arXiv:1906.07590},
year = {2019}
}