ZiCo：基于梯度变异系数倒数的零样本神经架构搜索
机器学习
2023-04-14 v3
摘要
神经架构搜索（NAS）被广泛用于从大量候选架构中自动获得性能最佳的神经网络。为减少搜索时间，零样本NAS旨在设计无需训练的代理指标，以预测给定架构的测试性能。然而，正如近期研究所表明的，迄今为止提出的零样本代理指标均无法稳定地优于一个朴素代理，即网络参数量（#Params）。为改善这一状况，作为主要的理论贡献，我们首先揭示了不同样本间某些特定梯度性质如何影响神经网络的收敛速度与泛化能力。基于该理论分析，我们提出了一种新的零样本代理指标ZiCo，这是首个稳定优于#Params的代理指标。我们证明，在多个应用（如图像分类/重建和像素级预测）的若干流行NAS基准（NASBench101、NATSBench-SSS/TSS、TransNASBench-101）上，ZiCo优于当前最优（SOTA）代理指标。最后，我们证明通过ZiCo发现的最优架构与one-shot和多-shot NAS方法发现的架构具有竞争力，但搜索时间大幅减少。例如，在ImageNet上，基于ZiCo的NAS可在0.4 GPU天内，于450M、600M和1000M FLOPs的推理预算下分别找到测试准确率为78.1%、79.4%和80.4%的最优架构。我们的代码见 https://github.com/SLDGroup/ZiCo。
引用
@article{arxiv.2301.11300,
title = {ZiCo: Zero-shot NAS via Inverse Coefficient of Variation on Gradients},
author = {Guihong Li and Yuedong Yang and Kartikeya Bhardwaj and Radu Marculescu},
journal= {arXiv preprint arXiv:2301.11300},
year = {2023}
}
备注
ICLR 2023 Spotlight