TiM-DNN：面向深度神经网络的三元存内加速器
机器学习
2020-05-06 v3 硬件体系结构
计算机视觉与模式识别
新兴技术
摘要
使用更低精度已成为优化复杂深度神经网络（DNN）计算与存储需求的流行技术。在追求更低精度的过程中，近期研究表明三元DNN（用带符号三元值表示权重和激活）代表了一个有前景的甜点，在复杂任务上达到接近全精度网络的精度。我们提出TiM-DNN，一种专为执行三元DNN而设计的可编程存内加速器。TiM-DNN支持多种三元表示，包括无权重{-1,0,1}、对称权重{-a,0,a}和非对称权重{-a,0,b}三元系统。TiM-DNN的构建模块是TiM瓦片——专用存储器阵列，通过单次访问执行大规模并行带符号三元向量-矩阵乘法。TiM瓦片进而由三元处理单元（TPC）组成，即既作为三元存储单元又作为带符号三元乘法单元的位单元。我们使用经SPICE仿真和RTL综合校准的架构模拟器，在32nm工艺下评估TiM-DNN的实现。我们在包括深度卷积和循环神经网络在内的最先进DNN基准套件上评估TiM-DNN。32瓦片实例的TiM-DNN实现峰值性能114 TOPs/s，功耗0.9W，占用1.96mm2芯片面积，相比NVIDIA Tesla V100 GPU分别在TOPS/W和TOPS/mm2上提升300倍和388倍。与专用DNN加速器相比，TiM-DNN分别在TOPS/W和TOPS/mm2上实现55倍–240倍和160倍–291倍的提升。最后，与针对三元DNN优化良好的近内存加速器相比，TiM-DNN在系统级能耗上展示3.9倍–4.7倍改善，加速比3.2倍–4.2倍，凸显了存内计算对三元DNN的潜力。
引用
@article{arxiv.1909.06892,
title = {TiM-DNN: Ternary in-Memory accelerator for Deep Neural Networks},
author = {Shubham Jain and Sumeet Kumar Gupta and Anand Raghunathan},
journal= {arXiv preprint arXiv:1909.06892},
year = {2020}
}
备注
12 pages, 18 figures, Accepted in IEEE Transactions on Very Large Scale Integration (VLSI) Systems 2020