迈向约束更弱的宏神经架构搜索

通过神经架构搜索（NAS）发现的网络在多种任务上达到最先进性能，超越人类设计的网络。然而，大多数 NAS 方法严重依赖人类定义的假设来约束搜索：架构的外骨架、层数、参数启发式与搜索空间。此外，常见搜索空间由可重复模块（单元）构成，而非通过设计完整架构（宏搜索）来充分探索架构的搜索空间。施加此类约束需要深厚人类专业知识，并将搜索限制在预定义设定内。本文中，我们提出 LCMNAS，一种通过将宏搜索与预定义启发式或有界搜索空间脱钩而将 NAS 推向约束更弱搜索空间的方法。LCMNAS 为 NAS 流程引入三个组件：i）一种利用知名架构信息基于带隐藏属性的加权有向图自主生成复杂搜索空间的方法，ii）一种从零生成完整架构的进化搜索策略，iii）一种混合性能估计方法，结合初始化阶段架构信息与低保真估计以推断其可训练性及建模复杂函数的能力。我们在 13 个不同数据集上展示实验，表明 LCMNAS 能以最小 GPU 计算生成基于单元与基于宏的架构并取得最先进结果。此外，我们对不同 NAS 组件在基于单元与基于宏设定下的重要性进行了广泛研究。可复现代码公开于 https://github.com/VascoLopes/LCMNAS。