iDARTS：基于随机隐式梯度的可微架构搜索
机器学习
2021-06-22 v1
摘要
可微架构搜索（DARTS）因其高效和简单近来已成为神经架构搜索（NAS）的主流。通过基于梯度的双层优化，DARTS 在权重共享的超网中交替优化内部模型权重和外部架构参数。对所学架构的可扩展性和质量的一个关键挑战是需要通过对内循环优化求导。尽管关于 DARTS 中若干潜在致命因素已有大量讨论，架构梯度（亦称超梯度）受到的关注较少。本文中，我们基于隐函数定理处理 DARTS 中的超梯度计算，使其仅依赖于内循环优化所得解，而与优化路径无关。为进一步降低计算需求，我们为可微 NAS 构建了随机超梯度近似，并从理论上证明使用所提方法（命名为 iDARTS）的架构优化有望收敛到驻点。在两个 NAS 基准搜索空间和常见 NAS 搜索空间上的综合实验验证了我们所提方法的有效性。它得到的架构以较大优势超越了基线方法学到的架构。
引用
@article{arxiv.2106.10784,
title = {iDARTS: Differentiable Architecture Search with Stochastic Implicit Gradients},
author = {Miao Zhang and Steven Su and Shirui Pan and Xiaojun Chang and Ehsan Abbasnejad and Reza Haffari},
journal= {arXiv preprint arXiv:2106.10784},
year = {2021}
}
备注
ICML2021