DARTS+：通过早停改进可微架构搜索
计算机视觉与模式识别
2020-10-21 v2 机器学习
摘要
近来，自动化神经架构设计过程受到越来越多的关注，而可微架构搜索（DARTS）方法使得该过程在几个GPU日内即可完成。然而，当搜索轮数变大时，DARTS的性能常被观察到发生崩塌。同时，在所选择的架构中发现大量“skip-connect”。本文中，我们指出崩塌的原因在于DARTS的优化中存在过拟合。因此，我们提出一种简单而有效的算法，称为“DARTS+”，通过在满足某一准则时“早停”搜索过程，以避免崩塌并改进原始DARTS。我们还在基准数据集和不同搜索空间上进行了全面实验，展示了DARTS+算法的有效性，DARTS+在CIFAR10上达到测试误差，在CIFAR100上为，在ImageNet上为。我们进一步指出，“早停”的思想已隐式地包含在一些现有DARTS变体中，通过手动设置较小的搜索轮数实现，而我们给出了“早停”的显式准则。
引用
@article{arxiv.1909.06035,
title = {DARTS+: Improved Differentiable Architecture Search with Early Stopping},
author = {Hanwen Liang and Shifeng Zhang and Jiacheng Sun and Xingqiu He and Weiran Huang and Kechen Zhuang and Zhenguo Li},
journal= {arXiv preprint arXiv:1909.06035},
year = {2020}
}