RelativeNAS：基于快慢学习的相对神经架构搜索
计算机视觉与模式识别
2021-07-14 v3
摘要
尽管卷积神经网络（CNNs）在计算机视觉中取得显著成功，手动设计 CNN 仍耗时且易错。在受自动化设计高性能 CNN 驱动各类神经架构搜索（NAS）方法中，可微分 NAS 与基于种群的 NAS 因独特特性而吸引日益关注。为兼取其长并补其短，本文提出一种新颖 NAS 方法 RelativeNAS。作为高效搜索关键，RelativeNAS 以成对方式在快学习者（即精度相对更高的网络）与慢学习者间执行联合学习。此外，由于 RelativeNAS 仅需低保真度性能估计以区分每对快学习者与慢学习者，其节省了训练候选架构的一定计算成本。所提 RelativeNAS 带来若干独特优势：（1）在 ImageNet 上以 24.88% 的 top-1 错误率达到最优性能，即分别超越 DARTS 与 AmoebaNet-B 达 1.82% 与 1.12%；（2）仅用单张 1080Ti GPU 九小时即获得所发现单元，即分别比 DARTS 与 AmoebaNet 快 3.75 倍与 7875 倍；（3）其表明在 CIFAR-10 上获得的发现单元可直接迁移至目标检测、语义分割与关键点检测，分别在 PASCAL VOC 上取得 73.1% mAP、Cityscapes 上 78.7% mIoU、MSCOCO 上 68.5% AP 的竞争性结果。RelativeNAS 的实现见 https://github.com/EMI-Group/RelativeNAS
引用
@article{arxiv.2009.06193,
title = {RelativeNAS: Relative Neural Architecture Search via Slow-Fast Learning},
author = {Hao Tan and Ran Cheng and Shihua Huang and Cheng He and Changxiao Qiu and Fan Yang and Ping Luo},
journal= {arXiv preprint arXiv:2009.06193},
year = {2021}
}