UNAS：可微架构搜索遇见强化学习
机器学习
2020-08-31 v2 计算机视觉与模式识别
机器学习
摘要
神经架构搜索（NAS）旨在发现具备所需特性（如高精度或低延迟）的网络架构。近来，可微 NAS（DNAS）在保持比基于强化学习（RL）的 NAS 低数个数量级搜索代价的同时，展示了有前景的结果。然而，DNAS 模型在搜索中只能优化可微损失函数，且它们需要对非可微准则的准确可微近似。在本工作中，我们提出 UNAS，一个统一的 NAS 框架，将近期的 DNAS 与基于 RL 的方法封装于同一框架之下。我们的框架兼取两者之长，并使我们能够在统一框架中搜索兼具可微与非可微准则的架构，同时保持低搜索代价。此外，我们引入了一种基于泛化差距的新的搜索目标函数，以防止选中易于过拟合的架构。我们在 CIFAR-10、CIFAR-100 与 ImageNet 数据集上给出了大量实验，并在两个根本不同的搜索空间中执行搜索。我们表明，与在 DARTS 空间中搜索出的架构相比，UNAS 在所有三个数据集上取得了最先进的（SOTA）平均精度。而且，我们展示 UNAS 能在 ProxylessNAS 搜索空间中找到高效且准确的架构，其优于现有的基于 MobileNetV2 的架构。源代码见 https://github.com/NVlabs/unas 。
引用
@article{arxiv.1912.07651,
title = {UNAS: Differentiable Architecture Search Meets Reinforcement Learning},
author = {Arash Vahdat and Arun Mallya and Ming-Yu Liu and Jan Kautz},
journal= {arXiv preprint arXiv:1912.07651},
year = {2020}
}
备注
Accepted to CVPR 2020 (Oral)