面向轻量级神经架构搜索的零成本代理指标

神经架构搜索（NAS）正迅速成为设计神经网络模型的标准方法。然而，NAS 通常计算密集，因为在选出最佳模型之前需要评估多个模型。为了减少所需的计算能力和时间，常使用代理任务来评估每个模型，而非进行完整训练。在本文中，我们评估了传统的缩减训练代理，并量化了在搜索过程中它们相对于最终训练精度所产生的排名，在多个模型之间保留排名的程度。我们提出了一系列零成本代理，基于最近的剪枝文献，仅使用单个小批量训练数据来计算模型得分。我们的零成本代理使用的计算量少三个数量级，却能匹配甚至超越传统代理。例如，在 NAS-Bench-201 上，最终验证精度与我们最佳零成本代理之间的 Spearman 秩相关系数为 0.82，而 EcoNAS（一种近期提出的缩减训练代理）为 0.61。最后，我们利用这些零成本代理来增强现有的 NAS 搜索算法，如随机搜索、强化学习、进化搜索和基于预测器的搜索。对于所有搜索方法以及跨越三个不同的 NAS 数据集，我们能够通过使用我们的零成本代理显著提高采样效率，从而减少计算量。例如在 NAS-Bench-101 上，我们以比先前最佳结果快 4$\times$ 的速度达到了相同精度。我们的代码已公开于：https://github.com/mohsaied/zero-cost-nas。