MathNAS：若模块在数理性架构设计中扮演角色

神经架构搜索（NAS）已成为发掘高效神经网络架构的常用方法。大模型的近期发展加剧了对更快搜索速度与更准搜索结果的需求。然而，利用 NAS 设计大模型颇具挑战，因为搜索空间急剧扩大且伴随巨大的性能评估代价。考虑 NAS 中广泛使用的典型模块化搜索空间，其中神经架构由 $m$ 个块节点组成，每个块节点有 $n$ 个候选块。面对含 $n^m$ 个候选网络的空间，现有 NAS 方法试图通过直接搜索与评估候选网络找出最优者。不同于将架构搜索视为整体问题的通用策略，我们利用搜索空间的模块化本质提出一种新颖的分治策略。在此，我们引入 MathNAS，一种基于数学规划的通用 NAS 框架。在 MathNAS 中，先计算搜索空间中 $m*n$ 个可能构建块的性能，再依据其构建块性能直接预测网络性能。尽管估计块性能涉及网络训练，正如现有 NAS 方法中网络性能评估那样，预测网络性能完全无需训练因而极快。与现有 NAS 方法需训练 $n^m$ 个候选网络并带来庞大计算负担不同，MathNAS 仅需处理 $m*n$ 个可能块。因此，我们的方法有效降低了网络性能评估的复杂度。我们的代码见 https://github.com/wangqinsi1/MathNAS。