用于更灵活神经架构搜索的密集连接搜索空间
计算机视觉与模式识别
2020-04-10 v3
摘要
神经架构搜索(NAS)极大地推动了神经网络设计的发展。我们重新审视以往大多数NAS方法中的搜索空间设计，发现块的数量与宽度均为人工设定。然而，块数量与块宽度决定了网络规模（深度与宽度），并对准确率与模型开销（FLOPs/延迟）均有重大影响。本文提出通过设计密集连接搜索空间（即DenseNAS）来搜索块数量与块宽度。新搜索空间表示为一个密集超网络，构建于我们设计的路由块之上。在超网络中，路由块被密集连接，我们搜索它们之间的最佳路径以导出最终架构。我们进一步提出一种链式开销估计算法，在搜索过程中近似模型开销。DenseNAS同时优化准确率与模型开销。在基于MobileNetV2的搜索空间实验中，DenseNAS在ImageNet上以仅361MB FLOPs和单张TITAN-XP上17.9ms延迟取得75.3%的top-1准确率。DenseNAS搜索得到的更大模型以仅479M FLOPs取得76.1%准确率。DenseNAS进一步将ResNet-18、-34与-50-B在ImageNet分类上的准确率分别提升1.5%、0.5%与0.3%，同时FLOPs分别减少200M、600M与680M。相关代码见https://github.com/JaminFong/DenseNAS。
引用
@article{arxiv.1906.09607,
title = {Densely Connected Search Space for More Flexible Neural Architecture Search},
author = {Jiemin Fang and Yuzhu Sun and Qian Zhang and Yuan Li and Wenyu Liu and Xinggang Wang},
journal= {arXiv preprint arXiv:1906.09607},
year = {2020}
}
备注
Accepted by CVPR 2020