LayerNAS：多项式复杂度下的神经架构搜索

神经架构搜索（NAS）已成为发现有效模型架构（尤其是面向目标硬件）的流行方法。因此，在约束下寻找最优架构的NAS方法至关重要。在本文中，我们提出LayerNAS，通过将多目标NAS转化为组合优化问题来应对其挑战，从而将搜索复杂度有效约束为多项式。对于具有$L$层的模型架构，我们对每一层执行分层搜索，从搜索选项集合$\mathbb{S}$中选择。LayerNAS基于单一目标（如模型大小或延迟）对模型候选者分组，并基于另一目标搜索最优模型，从而分离搜索的成本与奖励要素。该方法将搜索复杂度限制为$O(H \cdot |\mathbb{S}| \cdot L)$，其中$H$为LayerNAS中设定的常数。我们的实验表明，相较于强基线（包括源自NATS-Bench、MobileNetV2与MobileNetV3的搜索空间），LayerNAS能在多种搜索空间中持续发现更优模型。