ProxylessNAS：在目标任务与硬件上直接进行神经架构搜索

神经架构搜索（NAS）通过自动设计有效的神经网络架构产生了重大影响。然而，传统 NAS 算法（例如 $10^4$ GPU 小时）高昂的计算需求使其难以在大规模任务（例如 ImageNet）上直接搜索架构。可微 NAS 可通过网络架构的连续表示减少 GPU 小时成本，但存在 GPU 内存消耗高的问题（随候选集大小线性增长）。因此，它们需要利用代理任务，例如在更小的数据集上训练、仅用少数块学习、或仅训练少数轮次。这些在代理任务上优化的架构无法保证在目标任务上最优。本文中，我们提出 ProxylessNAS，可直接为大规模目标任务和目标硬件平台学习架构。我们解决了可微 NAS 的高内存消耗问题，并将计算成本（GPU 小时和 GPU 内存）降至与常规训练相同水平，同时仍允许较大的候选集。在 CIFAR-10 和 ImageNet 上的实验证明了直接性与专门化的有效性。在 CIFAR-10 上，我们的模型以仅 5.7M 参数取得 2.08% 测试误差，优于先前最优架构 AmoebaNet-B，同时参数量减少 6$\times$。在 ImageNet 上，我们的模型比 MobileNetV2 的 top-1 准确率提高 3.1%，同时按实测 GPU 延迟计算快 1.2$\times$。我们还将 ProxylessNAS 用于以直接硬件指标（例如延迟）专门化神经架构，并为高效 CNN 架构设计提供见解。