面向多任务神经架构与异构 ASIC 加速器设计的协同探索
机器学习
2020-02-12 v1 信号处理
机器学习
摘要
神经架构搜索（NAS）已在现场可编程门阵列（FPGA）和图形处理单元（GPU）等多种 AI 加速平台上展现出其威力。然而，尽管专用集成电路（ASIC）是最强大的 AI 加速平台，如何将 NAS 与 ASIC 集成仍是一个开放问题。主要瓶颈来自 ASIC 设计所关联的巨大设计自由度。此外，考虑到多个 DNN 将并行运行于具有不同层操作和尺寸的不同工作负载，在一个设计中为不同 DNN 集成异构 ASIC 子加速器可显著提升性能，同时也进一步复杂化了设计空间。为应对这些挑战，本文基于现有成功设计构建由独特数据流描述的 ASIC 模板集，从而显著缩减设计空间。基于这些模板，我们进一步提出一个名为 NASAIC 的框架，可同时确定多个 DNN 架构及关联的异构 ASIC 加速器设计，从而满足设计规格（specs）的同时最大化精度。实验结果表明，与导致设计规格违规的连续 NAS 和 ASIC 设计优化相比，NASAIC 能保证结果满足设计规格，并在延迟、能耗和面积上分别减少 17.77%、2.49 倍和 2.32 倍，精度损失仅 0.76%。据作者所知，这是首个关于神经架构与 ASIC 加速器设计协同探索的工作。
引用
@article{arxiv.2002.04116,
title = {Co-Exploration of Neural Architectures and Heterogeneous ASIC Accelerator Designs Targeting Multiple Tasks},
author = {Lei Yang and Zheyu Yan and Meng Li and Hyoukjun Kwon and Liangzhen Lai and Tushar Krishna and Vikas Chandra and Weiwen Jiang and Yiyu Shi},
journal= {arXiv preprint arXiv:2002.04116},
year = {2020}
}
备注
Accepted by DAC'20