EH-DNAS：端到端硬件感知的可微神经架构搜索
机器学习
2021-11-25 v1
摘要
在硬件感知的可微神经架构搜索（DNAS）中，计算硬件指标的梯度以执行架构搜索具有挑战性。现有工作依赖于线性近似，对定制硬件加速器的支持有限。在这项工作中，我们提出了端到端硬件感知 DNAS（EH-DNAS），它无缝集成了端到端硬件基准测试和全自动 DNAS，以在各种平台上交付硬件高效的深度神经网络，包括边缘 GPU、边缘 TPU、移动 CPU 和定制加速器。给定一个期望的硬件平台，我们提出学习一个可微模型，为 DNAS 预测神经网络架构的端到端硬件性能。我们还引入了 E2E-Perf，一个用于定制加速器的端到端硬件基准测试工具。在 CIFAR10 和 ImageNet 上的实验表明，EH-DNAS 在保持分类准确率的同时，将定制加速器上的硬件性能平均提高了 ，在现有硬件处理器上平均提高了 。
引用
@article{arxiv.2111.12299,
title = {EH-DNAS: End-to-End Hardware-aware Differentiable Neural Architecture Search},
author = {Qian Jiang and Xiaofan Zhang and Deming Chen and Minh N. Do and Raymond A. Yeh},
journal= {arXiv preprint arXiv:2111.12299},
year = {2021}
}
备注
8 pages, 5 figures