渐进式 DARTS：弥合 NAS in the Wild 中的优化鸿沟
计算机视觉与模式识别
2020-01-07 v2 机器学习
摘要
随着神经架构搜索（NAS）的快速发展，研究者为广泛的视觉任务找到了强大的网络架构。然而，搜索得到的架构是否能像人工设计的架构那样跨不同类型任务迁移仍不清楚。本文提出这一问题，称为 NAS in the wild，其探索在代理数据集上找到最优架构然后部署到基本未见过场景的可能性。我们使用当前流行的可微架构搜索（DARTS）算法实例化该设定，该算法在跨任务迁移时常常表现不佳。我们认为精度下降源于使用超网络进行搜索但使用子网络进行重训练的 formulation。这些阶段的不同性质导致了显著的优化鸿沟，进而使架构参数对超网络“过拟合”。为缓解该鸿沟，我们提出一种渐进方法，在搜索阶段逐步增加网络深度，从而得到渐进式 DARTS（P-DARTS）算法。在降低的搜索成本下（单 GPU 上 7 小时），P-DARTS 在代理数据集（CIFAR10）和若干目标问题（ImageNet 分类、COCO 检测和三个 ReID 基准）上均取得改进性能。我们的代码见 \url{https://github.com/chenxin061/pdarts}。
引用
@article{arxiv.1912.10952,
title = {Progressive DARTS: Bridging the Optimization Gap for NAS in the Wild},
author = {Xin Chen and Lingxi Xie and Jun Wu and Qi Tian},
journal= {arXiv preprint arXiv:1912.10952},
year = {2020}
}
备注
An extension of P-DARTS. Previous version: arXiv:1904.12760