一种基于新型 MRAM 的支持浮点精度的存内处理神经网络训练加速器
分布式、并行与集群计算
2020-05-13 v2 硬件体系结构
新兴技术
机器学习
摘要
现代深度神经网络（DNNs）的优异性能伴随着往往高昂的训练代价，限制了 DNN 创新的快速发展并引发诸多环境担忧。为降低训练中的主要数据搬移代价，存内处理（PIM）已成为一种有前景的方案，因其减轻了对 DNN 权重的访问需求。然而，最先进的 PIM DNN 训练加速器要么采用精度受限的模拟/混合信号计算，要么基于支持有限逻辑功能因而需要复杂流程实现浮点计算的内存技术。本文中，我们提出一种基于自旋轨道转矩磁随机存取存储器（SOT-MRAM）的数字 PIM 加速器，支持浮点精度。具体而言，该新加速器具有创新的（1）SOT-MRAM 单元、（2）全加器设计以及（3）浮点计算。实验结果表明，与最先进的基于 PIM 的 DNN 训练加速器相比，所提出的 SOT-MRAM PIM 基 DNN 训练加速器在能耗、延迟和面积上分别实现 3.3×、1.8× 和 2.5× 的提升。
引用
@article{arxiv.2003.01551,
title = {A New MRAM-based Process In-Memory Accelerator for Efficient Neural Network Training with Floating Point Precision},
author = {Hongjie Wang and Yang Zhao and Chaojian Li and Yue Wang and Yingyan Lin},
journal= {arXiv preprint arXiv:2003.01551},
year = {2020}
}
备注
Accepted by the IEEE International Symposium on Circuits and Systems 2020 (ISCAS'2020)