基于随机特征的可微架构搜索
计算机视觉与模式识别
2022-08-19 v1
摘要
可微架构搜索（DARTS）因其高搜索效率和有效性显著推动了神经架构搜索（NAS）技术的发展，但存在性能崩溃问题。本文从两方面努力缓解DARTS的性能崩溃问题。首先，我们研究了DARTS中超网的表达能力，进而推导出一种仅训练BatchNorm的DARTS范式新设置。其次，我们从理论上发现随机特征稀释了超网优化中跳跃连接（skip-connection）的辅助连接作用，使搜索算法聚焦于更公平的操作选择，从而解决性能崩溃问题。我们用随机特征实例化DARTS和PC-DARTS，分别构建其改进版本RF-DARTS和RF-PCDARTS。实验结果表明，RF-DARTS在CIFAR-10上获得94.36%的测试准确率（为NAS-Bench-201中最接近最优的结果），并在从CIFAR-10迁移至ImageNet时取得最新的最先进（SOTA）top-1测试误差24.0%。此外，RF-DARTS在三个数据集（CIFAR-10、CIFAR-100和SVHN）和四个搜索空间（S1-S4）上表现稳健。另外，RF-PCDARTS在ImageNet上取得更好结果，即23.9%的top-1和7.1%的top-5测试误差，超越了直接在ImageNet上搜索的单路径、免训练和部分通道等代表性范式。
引用
@article{arxiv.2208.08835,
title = {Differentiable Architecture Search with Random Features},
author = {Xuanyang Zhang and Yonggang Li and Xiangyu Zhang and Yongtao Wang and Jian Sun},
journal= {arXiv preprint arXiv:2208.08835},
year = {2022}
}
备注
Tech Report