硬件感知神经架构搜索综述
机器学习
2021-01-26 v1 计算复杂性
摘要
神经架构搜索（NAS）方法日益流行。这些技术对于自动化并加速合成新颖深度学习（DL）架构这一耗时且易出错的过程至关重要。过去几年中，NAS 得到了广泛研究。可以说其最显著的影响体现在图像分类和目标检测任务中，这些任务已取得了当前最优（SOTA）结果。尽管迄今取得了显著成功，将 NAS 应用于实际问题仍面临重大挑战且并不广泛实用。一般而言，合成出的卷积神经网络（CNN）架构过于复杂，难以部署在资源受限平台（如物联网、移动和嵌入式系统）中。一种日益流行的解决方案是在 NAS 搜索策略中采用多目标优化算法，同时考虑执行延迟、能耗、内存占用等。这类 NAS 被称为硬件感知 NAS（HW-NAS），其使得搜索最高效架构更为复杂，并引出了若干开放问题。本综述对现有 HW-NAS 研究进行了详细回顾，并依据四个关键维度对其进行分类：搜索空间、搜索策略、加速技术以及硬件代价估计策略。我们进一步讨论了现有方法的挑战与局限，以及潜在的未来方向。这是首篇聚焦硬件感知 NAS 的综述论文。我们希望其能作为所述各类技术与算法的宝贵参考，并为面向硬件感知 NAS 的未来研究铺平道路。
引用
@article{arxiv.2101.09336,
title = {A Comprehensive Survey on Hardware-Aware Neural Architecture Search},
author = {Hadjer Benmeziane and Kaoutar El Maghraoui and Hamza Ouarnoughi and Smail Niar and Martin Wistuba and Naigang Wang},
journal= {arXiv preprint arXiv:2101.09336},
year = {2021}
}
备注
Submitted to Proceedings of IEEE