ARTEMIS：面向 Transformer 神经网络的混合模拟-随机式 In-DRAM 加速器
硬件体系结构
2024-07-18 v1 机器学习
摘要
Transformer 已成为自然语言处理（NLP）和计算机视觉中强大的工具。通过注意力机制，这些模型在与循环神经网络（RNN）和卷积神经网络（CNN）等传统方法相比，展现了显著的性能提升。然而，Transformer 通常因其大量计算和巨大的内存占用而需要耗时。处理器内存储（PIM）和近存储计算（NMC）是加速 Transformer 的有前景的解决方案，因为它们提供了高计算并行度和内存带宽。然而，设计支持 Transformer 神经网络各层之间大量数据移动的复杂运算的 PIM/NMC 架构仍是一个挑战。我们提出 ARTEMIS，一种用于 Transformer 模型的混合模拟-随机式 In-DRAM 加速器。通过采用对传统 DRAM 阵列的最小修改，ARTEMIS 通过一种新颖的 In-DRAM 金属间绝缘电容，高效地通过支持乘法的随机计算和时序模拟累加来缓解 Transformer 模型执行成本。我们的分析表明，ARTEMIS 在 GPU、TPU、CPU 和最新 PIM Transformer 硬件加速器之外，至少实现 3.0 倍加速、1.8 倍能耗降低和 1.9 倍更好的能效。
引用
@article{arxiv.2407.12638,
title = {ARTEMIS: A Mixed Analog-Stochastic In-DRAM Accelerator for Transformer Neural Networks},
author = {Salma Afifi and Ishan Thakkar and Sudeep Pasricha},
journal= {arXiv preprint arXiv:2407.12638},
year = {2024}
}