神经网络设计：从神经架构搜索中学习
机器学习
2020-11-03 v1 神经与进化计算
摘要
神经架构搜索（NAS）旨在优化深度神经网络的架构以获得更高精度或更小的计算开销，近年来受到更多研究关注。尽管已提出多种成功方法解决 NAS 任务，但其景观及其性质却鲜有研究。本文主张研究 NAS 景观性质的必要性，并提出使用所谓的探索性景观分析（ELA）技术来实现这一目标。我们选取一组广泛的深度卷积网络设计，进行大量实验以获取其性能。基于实验结果分析，我们观察到性能良好的架构设计之间具有高度相似性，据此可显著缩小搜索空间，从而提升任意 NAS 算法的效率。此外，我们在三个常见图像分类数据集 MNIST、Fashion 和 CIFAR-10 上提取 NAS 景观的 ELA 特征，表明这三个数据集的 NAS 景观可相互区分。同时，与著名的黑盒优化基准测试（BBOB）问题集的 ELA 特征相比，我们发现 NAS 景观出人意料地自成一类新问题，可与全部 个 BBOB 问题分离。鉴于这一有趣现象，我们指出进一步研究为 NAS 景观选择高效优化器的重要性，以及扩充当前基准问题集的必要性。
引用
@article{arxiv.2011.00521,
title = {Neural Network Design: Learning from Neural Architecture Search},
author = {Bas van Stein and Hao Wang and Thomas Bäck},
journal= {arXiv preprint arXiv:2011.00521},
year = {2020}
}