一种提高单片三维脉动阵列能效的新数据流实现
新兴技术
2024-01-09 v1
摘要
脉动阵列在边缘端执行深度神经网络（DNN）方面很受欢迎。低延迟和高能效是无人机和自动驾驶汽车等边缘设备的关键要求。单片三维（MONO3D）是一种新兴的3D集成技术，可在处理单元和存储单元之间提供超高带宽，且面积开销可忽略不计。如此高的带宽有助于满足DNN日益增长的延迟和能效需求。本文提出了一种在MONO3D脉动阵列中实现权重固定（WS）数据流的新方法，称为WS-MONO3D。WS-MONO3D利用多层电阻式RAM和具有高密度垂直互连的SRAM来多播输入并执行高带宽权重预加载，同时保持与原生WS数据流中相同的乘累加操作顺序。因此，WS-MONO3D消除了输入和权重转发周期，从而在相同配置下，与原生2D WS实现相比，能效-延迟积（EDP）提高了多达40%。由于具有多个垂直层，WS-MONO3D在每秒每瓦每占位面积的推理次数上也提供了10倍的提升。最后，我们还展示了温度对WS-MONO3D能效优势的影响。
引用
@article{arxiv.2401.03585,
title = {A New Dataflow Implementation to Improve Energy Efficiency of Monolithic 3D Systolic Arrays},
author = {Prachi Shukla and Vasilis F. Pavlidis and Emre Salman and Ayse K. Coskun},
journal= {arXiv preprint arXiv:2401.03585},
year = {2024}
}