在大规模并行模拟存内计算架构上的端到端DNN推理
分布式、并行与集群计算
2022-11-24 v1
摘要
卷积神经网络（CNN）应用对计算资源和能效的需求要求一种新范式来克服“内存墙”。模拟存内计算（AIMC）是一种有前景的范式，因为它在结构为存储单元交叉阵列的内存阵列中，于模拟域内就地执行矩阵-向量乘法——许多ML应用的关键内核。然而，若干因素限制了该技术的充分利用，包括交叉阵列器件的物理制备，其制约了单阵列的存储容量。多AIMC架构已被提出以克服此限制，但仅针对微小定制CNN或在片外执行部分层得以验证。本工作中，我们在一款512簇异构架构上实现了端到端ResNet-18 DNN的完整推理，该架构耦合了AIMC核与数字RISC-V核的混合，达到最高20.2 TOPS。此外，我们分析了网络在可用非易失性单元上的映射，与最先进模型比较，并推导出基于AIMC器件的下一代多核架构设计准则。
引用
@article{arxiv.2211.12877,
title = {End-to-End DNN Inference on a Massively Parallel Analog In Memory Computing Architecture},
author = {Nazareno Bruschi and Giuseppe Tagliavini and Angelo Garofalo and Francesco Conti and Irem Boybat and Luca Benini and Davide Rossi},
journal= {arXiv preprint arXiv:2211.12877},
year = {2022}
}