一次性神经架构搜索中搜索空间渐进式自动设计
计算机视觉与模式识别
2021-12-17 v2
摘要
神经架构搜索（NAS）已引起越来越多的关注。为降低搜索成本，近期工作探索了模型间的权重共享，并在一次性 NAS（One-Shot NAS）方面取得重大进展。然而，已观察到在一次性模型中精度更高的模型在独立训练时未必表现更好。为解决该问题，本文提出一种名为 PAD-NAS 的渐进式搜索空间自动设计方法。与以往超网中所有层共享相同操作搜索空间的方法不同，我们基于操作剪枝制定了一种渐进式搜索策略，并构建了逐层操作搜索空间。由此，PAD-NAS 可自动为每一层设计操作，并在搜索空间质量与模型多样性之间实现权衡。在搜索过程中，我们还考虑了硬件平台约束，以实现高效的神经网络模型部署。在 ImageNet 上的大量实验表明，我们的方法能够达到最先进的性能。
引用
@article{arxiv.2005.07564,
title = {Progressive Automatic Design of Search Space for One-Shot Neural Architecture Search},
author = {Xin Xia and Xuefeng Xiao and Xing Wang and Min Zheng},
journal= {arXiv preprint arXiv:2005.07564},
year = {2021}
}
备注
10 pages, 7 figures