FLASH：面向硬件优化的快速神经架构搜索
计算机视觉与模式识别
2021-08-03 v1 机器学习
摘要
神经架构搜索（NAS）是一种设计高效且高性能深度神经网络（DNNs）的有前景的技术。随着 ML 应用的性能需求持续增长，硬件加速器开始在 DNN 设计中扮演核心角色。这一趋势使得 NAS 对大多数实际应用更加复杂且耗时。本文提出 FLASH，一种非常快速的 NAS 方法，可在真实硬件平台上协同优化 DNN 精度与性能。作为主要理论贡献，我们首先提出 NN-Degree，一种量化具有跳跃连接的 DNN 拓扑特征（如 DenseNets、ResNets、Wide-ResNets 和 MobileNets）的分析度量。新提出的 NN-Degree 使我们能够在一秒内完成无训练 NAS，并通过在超过 630 亿种配置的庞大搜索空间中仅训练少至 25 个样本来构建精度预测器。其次，通过在目标硬件上执行推理，我们微调并验证分析模型，以估计各类 DNN 架构在运行标准 ML 数据集时的延迟、面积与能耗。第三，我们构建基于单纯同调全局优化（SHGO）的分层算法，在考虑目标硬件的面积、延迟与能耗的同时优化模型-架构协同设计过程。我们证明，与最先进 NAS 方法相比，我们提出的基于分层 SHGO 的算法实现了超过四个数量级的加速（具体而言，所提算法执行时间约为 0.1 秒）。最后，实验评估表明 FLASH 易于迁移至不同硬件架构，从而使我们能在少于 3 秒内在 Raspberry Pi-3B 处理器上完成 NAS。
引用
@article{arxiv.2108.00568,
title = {FLASH: Fast Neural Architecture Search with Hardware Optimization},
author = {Guihong Li and Sumit K. Mandal and Umit Y. Ogras and Radu Marculescu},
journal= {arXiv preprint arXiv:2108.00568},
year = {2021}
}
备注
Published at ACM CODES+ISSS 2021