用于高效推理具有混合尺寸张量的 CNN 的光子可重构加速器
硬件体系结构
2022-07-13 v1 人工智能
计算机视觉与模式识别
机器学习
摘要
基于光子微环谐振器（MRR）的硬件加速器已被证明可为深度卷积神经网络（CNNs）处理提供突破性的加速与能效改进。然而，先前基于 MRR 的 CNN 加速器未能针对具有混合尺寸张量的 CNN 提供高效的适应性。此类 CNN 的一个例子是深度可分离 CNN。在这种不灵活的加速器上执行具有混合尺寸张量的 CNN 推理通常导致硬件利用率低下，从而削弱加速器可实现的性能与能效。本文中，我们提出了一种在基于 MRR 的 CNN 加速器中引入可重构性的新方法，以动态最大化加速器硬件组件与使用该硬件组件处理的 CNN 张量之间的尺寸兼容性。我们根据加速器中所用硬件组件的布局与相对放置，将先前工作中的最先进基于 MRR 的 CNN 加速器分为两类。随后，我们使用所提方法为这两类加速器引入可重构性，从而提升其并行度、高效映射不同尺寸张量的灵活性、速度以及整体能效。我们在面积成比例视角下（所有加速器硬件面积相等）将所设计的可重构加速器与三项先前工作进行评估。我们对四种现代 CNN 推理的评估表明，相较于先前工作中基于 MRR 的加速器，我们所设计的可重构 CNN 加速器在帧率（FPS）上最高提升 1.8 倍，在 FPS/W 上最高提升 1.5 倍。
引用
@article{arxiv.2207.05278,
title = {Photonic Reconfigurable Accelerators for Efficient Inference of CNNs with Mixed-Sized Tensors},
author = {Sairam Sri Vatsavai and Ishan G Thakkar},
journal= {arXiv preprint arXiv:2207.05278},
year = {2022}
}
备注
Paper accepted at CASES (ESWEEK) 2022