RARTS：一种高效的一阶松弛架构搜索方法
机器学习
2022-06-27 v2 计算机视觉与模式识别
机器学习
摘要
可微架构搜索（DARTS）是一种基于求解双层优化问题的高效数据驱动神经网络设计方法。尽管其在许多架构搜索任务中取得成功，但对一阶 DARTS 的精度与二阶 DARTS 的效率仍存顾虑。本文提出一种单层替代方案及松弛架构搜索（RARTS）方法，其通过数据与网络切分在架构学习中利用整个数据集，且不涉及如 DARTS 那样的相应损失函数混合二阶导数。在我们的网络切分表述中，两个权重不同但相关的网络协作搜索共享架构。RARTS 相对 DARTS 的优势由收敛定理与可解析求解模型所论证。此外，充足实验结果表明 RARTS 在精度与搜索效率上优于 DARTS 及其变体。针对拓扑架构（即边与操作）搜索任务，RARTS 在 CIFAR-10 上取得比二阶 DARTS 更高精度且计算成本降低 60%。RARTS 迁移至 ImageNet 时持续优于 DARTS，且与近期 DARTS 变体相当，尽管我们的创新纯在训练算法而未修改搜索空间。针对宽度（即卷积层通道数）搜索任务，RARTS 也优于传统网络剪枝基准。在 NATS-Bench 等公开架构搜索基准上的进一步实验亦支持 RARTS 的优越性。
引用
@article{arxiv.2008.03901,
title = {RARTS: An Efficient First-Order Relaxed Architecture Search Method},
author = {Fanghui Xue and Yingyong Qi and Jack Xin},
journal= {arXiv preprint arXiv:2008.03901},
year = {2022}
}