einspace：从基本操作搜索神经架构

神经架构搜索（NAS）为给定任务寻找高性能网络。然而，NAS的结果相当平淡；它们并没有例如引发从卷积结构到Transformer的转变。这很大程度上是因为NAS中的搜索空间通常不够多样化，无法先验地包含此类变换。相反，为了让NAS为根本性的设计转变提供更大潜力，我们需要一种新颖的、基于更基本操作构建的表达性搜索空间设计。为此，我们引入了einspace，一个基于参数化概率上下文无关文法的搜索空间。我们的空间具有通用性，支持各种规模和复杂度的架构，同时包含多样的网络操作，使其能够建模卷积、注意力组件等。它包含许多现有的竞争性架构，并为发现新架构提供了灵活性。利用这个搜索空间，我们在多样化的Unseen NAS数据集上进行了实验，以寻找新颖架构以及对现有架构的改进。我们表明，通过从头开始搜索可以获得竞争性架构，并且在用强基线初始化搜索时，我们始终能发现大幅改进。我们相信，这项工作朝着变革性的NAS范式迈出了重要一步，其中搜索空间表达性和策略性搜索初始化起着关键作用。