两全其美：CNN及其硬件加速器的AutoML协同设计
信号处理
2020-03-09 v2 机器学习
摘要
神经架构搜索(NAS)在准确率上超越人类设计的卷积神经网络(CNN)，并且在存在硬件信息时还能在延迟上超越，取得了极大成功。然而，NAS设计的CNN通常具有复杂拓扑，因此可能难以为此类CNN设计定制硬件(HW)加速器。我们使用NAS实现HW-CNN协同设计，纳入CNN模型和HW加速器的参数，并联合搜索提升准确率与效率的最佳模型-加速器对。我们称之为Codesign-NAS。本文我们聚焦于定义Codesign-NAS多目标优化问题、展示其有效性，并探索导航协同设计搜索空间的不同方式。对于CIFAR-10图像分类，我们枚举了近40亿个模型-加速器对，并在该大型搜索空间内找到帕累托前沿。这使我们能够评估三种不同的基于强化学习的搜索策略。最后，与ResNet在其来自我们HW设计空间内的最优HW加速器相比，我们仅用约1000 GPU小时的Codesign-NAS运行，在CIFAR-100分类准确率上提高了1.3%，同时性能/面积提升了41%。
引用
@article{arxiv.2002.05022,
title = {Best of Both Worlds: AutoML Codesign of a CNN and its Hardware Accelerator},
author = {Mohamed S. Abdelfattah and Łukasz Dudziak and Thomas Chau and Royson Lee and Hyeji Kim and Nicholas D. Lane},
journal= {arXiv preprint arXiv:2002.05022},
year = {2020}
}
备注
accepted at DAC 2020