用于深度神经网络训练的混合存内计算架构
硬件体系结构
2021-02-11 v1 人工智能
新兴技术
机器学习
摘要
在冯·诺依曼架构上训练深度神经网络(DNNs)所涉及的成本促使人们开发用于高效DNN训练加速器的新型方案。我们提出了一种用于硬件加速器上DNN训练的混合存内计算(HIC)架构,其实现了存储高效的推理,并在基准任务中优于基线软件精度。我们引入了一种利用二值和多级相变存储器(PCM)器件的权重表示技术,从而带来存储高效的推理加速器。与先前基于存内计算的实现不同,我们使用低精度权重更新累加器,从而实现更多存储节省。我们使用HIC训练了ResNet-32网络以分类CIFAR-10图像。在可比较的模型尺寸下,HIC-based训练通过利用适当的网络宽度乘数,优于以浮点32位(FP32)精度训练的基线网络。此外,我们观察到HIC-based训练为实现基线可比精度所需的推理模型尺寸约减少50%。我们还表明,PCM器件中的时间漂移在长时间(年)内对训练后推理精度的影响可忽略不计。最后,我们的仿真表明HIC-based训练自然确保器件所经历的写-擦除周期数仅为PCM耐久极限的一小部分,证明了该架构用于实现可在现场学习的硬件平台的可行性。
引用
@article{arxiv.2102.05271,
title = {Hybrid In-memory Computing Architecture for the Training of Deep Neural Networks},
author = {Vinay Joshi and Wangxin He and Jae-sun Seo and Bipin Rajendran},
journal= {arXiv preprint arXiv:2102.05271},
year = {2021}
}
备注
Accepted at ISCAS 2021 for publication