基于自评估模板网络的一次性神经架构搜索
计算机视觉与模式识别
2021-01-26 v4
摘要
神经架构搜索(NAS)旨在自动化架构的搜索过程,以替代人工设计。即便近期的NAS方法能在数天内完成搜索,仍需对特定架构候选进行冗长的训练以获取参数用于准确评估。近来提出的一次性NAS方法通过候选间共享参数大幅压缩了繁琐的训练过程。如此,各候选的参数可直接从共享参数中提取,而无需从头训练。然而,这些方法在评估前无从知晓哪个候选表现更优,因此评估候选是随机采样的,且将top-1候选视为最佳。本文提出自评估模板网络(SETN)以提升待评估架构候选的质量,从而更有可能覆盖有竞争力的候选。SETN包含两个组件:(1)一个评估器,学习指示每个独立架构具有较低验证损失的概率,据此可有选择地采样评估候选;(2)一个模板网络,在所有候选间共享参数以分摊生成候选的训练代价。实验中,SETN发现的架构在CIFAR和ImageNet基准上以可比的计算代价取得了最先进的性能。代码已在GitHub公开:https://github.com/D-X-Y/AutoDL-Projects。
引用
@article{arxiv.1910.05733,
title = {One-Shot Neural Architecture Search via Self-Evaluated Template Network},
author = {Xuanyi Dong and Yi Yang},
journal= {arXiv preprint arXiv:1910.05733},
year = {2021}
}
备注
Minor modifications to the ICCV 2019 camera-ready version (add code link)