PONAS：面向极高效部署的渐进式单次神经架构搜索
计算机视觉与模式识别
2020-04-10 v2
摘要
我们实现了非常高效的深度学习模型部署，能够设计神经网络架构以适应不同的硬件约束。给定一个约束，大多数神经架构搜索（NAS）方法要么根据预训练的精度预测器采样一组子网络，要么采用进化算法从超网络中演化出专用网络。这两种方法都很耗时。我们实现极高效部署的关键思路是：在搜索架构空间时，构建一个存储所有层中所有候选块验证精度的表格。对于更严格的硬件约束，可以基于该表格通过挑选产生最小精度损失的最佳候选块来非常高效地确定专用网络的架构。为实现这一思路，我们提出了渐进式单次神经架构搜索（PONAS），它结合了渐进式NAS和单次方法的优势。在PONAS中，我们提出了一种两阶段训练方案，包括元训练阶段和微调阶段，以使搜索过程高效且稳定。在搜索过程中，我们评估不同层中的候选块并构建精度表，该表将在部署中使用。综合实验验证了PONAS具有极高的灵活性，能够在约10秒内找到专用网络的架构。在ImageNet分类中，可获得75.2%的top-1准确率，与现有最先进技术相当。
引用
@article{arxiv.2003.05112,
title = {PONAS: Progressive One-shot Neural Architecture Search for Very Efficient Deployment},
author = {Sian-Yao Huang and Wei-Ta Chu},
journal= {arXiv preprint arXiv:2003.05112},
year = {2020}
}