适应度景观足迹：一种比较神经架构搜索问题的框架

神经架构搜索是一个致力于自动化设计神经网络模型的有前景的研究领域。该领域发展迅速，涌现出从贝叶斯优化、神经进化到可微搜索等多种方法，并在各种场景中得到应用。然而，尽管取得了巨大进步，很少有研究对问题本身的难度提出见解，因此这些方法的成功（或失败）仍未得到解释。在这个意义上，优化领域已经发展出一些方法来突出描述优化问题的关键方面。适应度景观分析在可靠且定量地表征搜索算法方面表现突出。在本文中，我们提议使用适应度景观分析来研究神经架构搜索问题。特别是，我们引入了适应度景观足迹，这是一个由八 (8) 个通用指标聚合而成的指标，用于综合描述架构搜索问题的景观。我们研究了两个问题：经典的图像分类基准 CIFAR-10 和遥感问题 So2Sat LCZ42。结果对这些问题进行了定量评估，能够表征其相对难度和其他特征，例如崎岖度或持久性，这有助于为问题量身定制搜索策略。此外，足迹是一种能够比较多个问题的工具。