片上互连对深度神经网络存内加速的影响
硬件体系结构
2021-07-07 v1 人工智能
机器学习
摘要
随着深度神经网络（DNNs）的广泛使用，机器学习算法已沿两个不同方向演进——一个以不断提高连接密度换取更好精度，另一个以更紧凑的尺寸换取能效。连接密度的增加加剧了片上数据移动，这使得高效片上通信成为 DNN 加速器的关键功能。本工作的贡献有三方面。首先，我们说明基于点对点（P2P）的互连无法处理 DNN 的大量片上数据移动。其次，我们针对一系列 DNN，评估了基于 SRAM 与 ReRAM 的存内计算（IMC）架构中 P2P 与片上网络（NoC）互连（具有如网格等规则拓扑）。该分析显示了为 IMC DNN 加速器选择最优互连的必要性。最后，我们对不同 DNN 进行实验评估，以经验性地获取具有 NoC-tree 与 NoC-mesh 的 IMC 架构性能。我们得出结论：在瓦片层级，NoC-tree 适用于部署在边缘的紧凑 DNN，而 NoC-mesh 是加速高连接密度 DNN 所必需的。此外，我们提出了一种为任意给定 DNN 确定最优互连选择的技术。在该技术中，我们使用 NoC 的分析模型来评估任意给定 DNN 的端到端通信延迟。我们证明，与最先进的基于 ReRAM 的 IMC 架构相比，IMC 架构中的互连优化使 VGG-19 推理的能量-延迟-面积积至多提升 6。
引用
@article{arxiv.2107.02358,
title = {Impact of On-Chip Interconnect on In-Memory Acceleration of Deep Neural Networks},
author = {Gokul Krishnan and Sumit K. Mandal and Chaitali Chakrabarti and Jae-sun Seo and Umit Y. Ogras and Yu Cao},
journal= {arXiv preprint arXiv:2107.02358},
year = {2021}
}