端到端 CNN 加速中的全生命周期成本优化

Jiaqi Zhang; Xiangru Chen; Sandip Ray

端到端 CNN 加速中的全生命周期成本优化

分布式、并行与集群计算 2021-07-23 v2 机器学习

作者: Jiaqi Zhang , Xiangru Chen , Sandip Ray

摘要

随着 CNN 在计算机视觉中的成功，其加速获得了越来越多的关注。由于异构功能层无法仅由为卷积层提出的加速器处理，现代端到端 CNN 加速方案要么将多样计算转化为矩阵/向量运算，从而丧失卷积中的数据复用机会，要么为每种层引入专用功能单元，导致利用率不足和高更新开销。为提升全生命周期成本效率，我们需要一种能高效处理 CNN 层且具通用性以适用于各类现有及新兴层的加速方案。为此，我们提出 GCONV Chain，一种将整个 CNN 计算转化为可由现有 CNN 加速器高效处理的标准通用卷积（GCONV）链的方法。本文全面分析 GCONV Chain 模型并提出全栈实现以支持 GCONV Chain。一方面，在七种不同 CNN 上的结果表明 GCONV Chain 将现有 CNN 加速器的性能和能效平均分别提升 3.4 倍和 3.2 倍。另一方面，我们表明 GCONV Chain 为 CNN 加速提供了较低的全生命周期成本，包括开发者的投入和用户的拥有总成本。

关键词

CNN 加速全生命周期成本通用卷积端到端数据复用拥有总成本全栈实现

引用

@article{arxiv.2104.05541,
  title  = {Optimizing the Whole-life Cost in End-to-end CNN Acceleration},
  author = {Jiaqi Zhang and Xiangru Chen and Sandip Ray},
  journal= {arXiv preprint arXiv:2104.05541},
  year   = {2021}
}

端到端 CNN 加速中的全生命周期成本优化

摘要

关键词

引用

相关论文