EDD：面向嵌入式 AI 解决方案的高效可微 DNN 架构与实现协同搜索
机器学习
2020-05-07 v1
摘要
高质量 AI 解决方案需要对 AI 算法及其硬件实现进行联合优化。本工作中，我们首次提出一种完全同步、高效可微的 DNN 架构与实现协同搜索（EDD）方法。我们将 DNN 搜索变量与硬件实现变量融合为一个解空间来表述协同搜索问题，并同时最大化算法精度与硬件实现质量。该表述关于融合变量可微，从而可应用梯度下降算法大幅减少搜索时间。该表述也适用于具有不同目标的各种设备。在实验中，我们通过搜索三个代表性 DNN 来展示 EDD 方法的有效性，目标分别为低延迟 GPU 实现以及具有递归和流水线架构的 FPGA 实现。EDD 生成的每个模型在 ImageNet 上达到与神经架构搜索（NAS）方法搜索出的最佳现有 DNN 模型相似的精度，但在 12 GPU 小时的搜索内获得了更优性能。我们面向 GPU 的 DNN 比 Proxyless 中报道的先进方案快 1.40 倍，而面向 FPGA 的 DNN 比 DNNBuilder 中报道的先进方案吞吐量高 1.45 倍。
引用
@article{arxiv.2005.02563,
title = {EDD: Efficient Differentiable DNN Architecture and Implementation Co-search for Embedded AI Solutions},
author = {Yuhong Li and Cong Hao and Xiaofan Zhang and Xinheng Liu and Yao Chen and Jinjun Xiong and Wen-mei Hwu and Deming Chen},
journal= {arXiv preprint arXiv:2005.02563},
year = {2020}
}
备注
Accepted by Design Automation Conference (DAC'2020)