ZARTS：基于零阶优化的神经架构搜索方法
计算机视觉与模式识别
2022-02-01 v2
摘要
可微架构搜索（DARTS）因其高效性已成为神经架构搜索（NAS）中一种流行的单阶段范式。它引入可训练的架构参数来表示候选操作的重要性，并提出一阶/二阶近似来估计其梯度，使得通过梯度下降算法求解 NAS 成为可能。然而，我们深入的实证结果表明，该近似常常会扭曲损失景观，导致优化目标出现偏差，进而使架构参数的梯度估计不准确。本工作转向零阶优化，提出了一种新颖的 NAS 方案，称为 ZARTS，可在不强制上述近似的情况下进行搜索。具体而言，引入了三种具有代表性的零阶优化方法：RS、MGS 和 GLD，其中 MGS 在准确率和速度之间取得最佳平衡。此外，我们探讨了 RS/MGS 与梯度下降算法之间的联系，并表明我们的 ZARTS 可视为 DARTS 的一种鲁棒的免梯度对应方法。在多个数据集和搜索空间上的大量实验表明了本方法的卓越性能。特别地，在 12 个基准上的结果验证了 ZARTS 出色的鲁棒性，而 DARTS 因其已知的稳定性问题性能崩溃。同时，我们在 DARTS 的搜索空间上进行搜索以与同类方法比较，我们发现的架构在 CIFAR-10 上达到 97.54% 的准确率，在 ImageNet 上达到 75.7% 的 top-1 准确率，均为当前最优（state-of-the-art）性能。
引用
@article{arxiv.2110.04743,
title = {ZARTS: On Zero-order Optimization for Neural Architecture Search},
author = {Xiaoxing Wang and Wenxuan Guo and Junchi Yan and Jianlin Su and Xiaokang Yang},
journal= {arXiv preprint arXiv:2110.04743},
year = {2022}
}