基于单元的神经架构搜索中的冗余性与多样性

搜索架构单元是NAS中的主导范式。然而，尽管基于单元的搜索空间对NAS的持续发展极为重要，却鲜有对其进行分析的关注。在这项工作中，我们对来自流行基于单元搜索空间的架构进行了经验性事后分析，发现现有搜索空间包含高度冗余：架构性能对单元大部分区域的变化极不敏感，而普遍采用的设计（如显式搜索归约单元）显著增加了复杂度，却对性能影响非常有限。在由多种搜索策略发现的架构中，我们一致发现，对架构性能真正重要的单元部分往往遵循相似且简单的模式。通过显式约束单元包含这些模式，随机采样的架构可以匹配甚至优于当前最优(state of the art)。这些发现令我们对在现有基于单元的搜索空间中发掘真正新颖架构的能力产生怀疑，并启发我们提出改进建议以指导未来NAS研究。代码见 https://github.com/xingchenwan/cell-based-NAS-analysis。