HourNAS：透过沙漏视角的极快神经架构搜索
计算机视觉与模式识别
2020-12-09 v3
摘要
神经架构搜索 (NAS) 是指自动设计网络架构。针对这一问题，我们提出了一种受沙漏启发的 方法，其动机在于架构的效果通常取决于少数关键模块。在深度神经网络中，从输入到输出的保证路径上的关键模块就像沙漏的窄颈一样，限制了信息流并影响网络精度。其他模块占据了网络的主要体积并决定了整体网络复杂度，对应于沙漏的灯泡部分。为了在保持高精度的同时实现极快的 NAS，我们提出识别关键模块，并在架构搜索中将其作为优先考虑对象。非关键模块的搜索空间被进一步缩小，仅涵盖在计算资源约束下可负担的候选模块。在 ImageNet 上的实验结果表明，仅使用单 GPU 耗时 3 小时 (0.1 天)，我们的 HourNAS 即可搜索出达到 77.0% Top-1 准确率的架构，优于现有最先进方法。
引用
@article{arxiv.2005.14446,
title = {HourNAS: Extremely Fast Neural Architecture Search Through an Hourglass Lens},
author = {Zhaohui Yang and Yunhe Wang and Xinghao Chen and Jianyuan Guo and Wei Zhang and Chao Xu and Chunjing Xu and Dacheng Tao and Chang Xu},
journal= {arXiv preprint arXiv:2005.14446},
year = {2020}
}