局部搜索是神经架构搜索中一个异常强大的基线

神经架构搜索（NAS），即神经网络设计的自动化，近年来备受关注，人们提出了日益复杂的搜索算法。然而，与简单基线进行扎实的比较常常缺失。与此同时，近期的回顾性研究发现许多新算法并不优于随机搜索（RS）。本工作中，我们首次考虑一种用于 NAS 的简单局部搜索（LS）算法。我们特别考虑多目标 NAS 表述，以网络精度和网络复杂度为两个目标，因为理解这两个目标间的权衡可以说是 NAS 最有趣的方面。所提出的 LS 算法与 RS 及两种进化算法（EAs）进行比较，因为这些算法常被誉为多目标优化的理想选择。为促进可复现性，我们创建并发布两个基准数据集，名为 MacroNAS-C10 和 MacroNAS-C100，包含针对两个既定图像分类任务 CIFAR-10 和 CIFAR-100 的 20 万次已保存网络评估。我们的基准旨在对现有基准形成补充，尤其体现在它们更适用于多目标搜索。我们还考虑了具有大得多的架构空间的问题版本。虽然我们发现并表明所考虑的算法以根本不同的方式探索搜索空间，但我们也发现 LS 大幅优于 RS，甚至表现几乎与最先进的 EAs 一样好。我们相信这为 LS 确实是 NAS 的一个有竞争力的基线提供了有力证据，新 NAS 算法应以之为基准进行测试。