快速硬件感知神经架构搜索
计算机视觉与模式识别
2020-04-21 v3 机器学习
摘要
为海量硬件设计准确且高效的卷积神经架构具有挑战性，因为硬件设计复杂且多样。本文解决了神经架构搜索（NAS）中的硬件多样性挑战。与以往在未考虑硬件多样性的人工设计小规模搜索空间上应用搜索算法的方法不同，我们提出 HURRICANE，其在更大的搜索空间上探索自动硬件感知搜索，并采用两阶段搜索算法，以高效地为不同类型硬件生成定制模型。在 ImageNet 上的大量实验表明，在三种硬件的相同延迟约束下，我们的算法优于最先进的硬件感知 NAS 方法。此外，所发现的架构比当前最先进的高效模型具有更低的延迟和更高的准确率。值得注意的是，HURRICANE 在 DSP 上以仅 16.5 ms 的推理延迟实现了 ImageNet 上 76.67% 的 top-1 准确率，分别比 FBNet-iPhoneX 高 3.47% 的准确率和 6.35 倍的推理加速。对于 VPU，我们以 1.49 倍加速实现了比 Proxyless-mobile 高 0.53% 的 top-1 准确率。即便对于研究充分的移动 CPU，我们也以相当的推理延迟实现了比 FBNet-iPhoneX 高 1.63% 的 top-1 准确率。HURRICANE 相比 SPOS 还将训练时间减少了 30.4%。
引用
@article{arxiv.1910.11609,
title = {Fast Hardware-Aware Neural Architecture Search},
author = {Li Lyna Zhang and Yuqing Yang and Yuhang Jiang and Wenwu Zhu and Yunxin Liu},
journal= {arXiv preprint arXiv:1910.11609},
year = {2020}
}