可微架构搜索中的零成本操作打分

我们形式化并分析了可微神经架构搜索（NAS）的一个基本组成部分：每个操作选择处的局部“操作打分”。我们将现有的操作打分函数视为准确率的近似代理，并发现它们在 NAS 基准上经实证分析时表现不佳。从这一视角出发，我们引入了一种新颖的\textit{基于扰动的零成本操作打分}（Zero-Cost-PT）方法，该方法利用了近期在多试验 NAS 中研究的零成本代理，但这些代理在可微 NAS 典型的大型搜索空间上性能显著下降。我们在多个 NAS 基准和大型搜索空间上进行了彻底的实证评估，从 NAS-Bench-201、NAS-Bench-1Shot1、NAS-Bench-Macro 到类 DARTS 和类 MobileNet 的空间，在搜索时间和准确率上均显示出显著提升。在 DARTS 搜索空间上的 ImageNet 分类任务中，与当前最佳的无训练方法（TE-NAS）相比，我们的方法提高了准确率，同时速度快了 10$\times$ 以上（在单 GPU 上总搜索时间 25 分钟），并且在 CIFAR-10 数据集上搜索的架构上观察到显著更好的可迁移性，准确率提升 1.8 个百分点。我们的代码可在 https://github.com/zerocostptnas/zerocost_operation_score 获取。