面向神经架构搜索的几何感知梯度算法
机器学习
2021-03-19 v5 计算机视觉与模式识别
神经与进化计算
最优化与控制
机器学习
摘要
近期神经架构搜索（NAS）的最优方法通过将该问题松弛为对架构和共享权重的连续优化来利用基于梯度的优化，这是一个噪声过程且仍知之甚少。我们主张研究单级经验风险最小化以理解带权重共享的 NAS，从而将 NAS 方法的设计归结为设计能够快速获得该问题高质量解的优化器和正则化器。借助镜像下降理论，我们提出了一个几何感知框架，利用该优化的底层结构来返回稀疏架构参数，从而得到简单却新颖的算法，其享有快速收敛保证并在计算机视觉的最新 NAS 基准上达到最优准确率。值得注意的是，我们在 DARTS 搜索空间和 NAS-Bench201 上均超越了 CIFAR 和 ImageNet 上已发表的最佳结果；在后者上我们在 CIFAR-10 和 CIFAR-100 上实现了近预言机最优性能。总之，我们的理论和实验展示了一种协同设计优化器与离散 NAS 搜索空间的连续松弛的原则性方法。
引用
@article{arxiv.2004.07802,
title = {Geometry-Aware Gradient Algorithms for Neural Architecture Search},
author = {Liam Li and Mikhail Khodak and Maria-Florina Balcan and Ameet Talwalkar},
journal= {arXiv preprint arXiv:2004.07802},
year = {2021}
}
备注
ICLR 2021 Camera-Ready