一款818-TOPS/W、CSNR-31dB、SQNR-45dB、10位电容重配置存内计算宏单元及其用于Transformer的软件-模拟协同设计
硬件体系结构
2023-02-14 v1
摘要
Transformer 推理需要高计算精度；由于固有的计算误差，使用模拟存内计算（CIM）实现这一点一直很困难。为克服这一挑战，我们提出了一种电容重配置 CIM（CR-CIM），以通过 10 位 ADC 实现高计算精度的模拟 CIM，并获得高面积/功耗效率。CR-CIM 将其电容阵列重配置以服务双重目的：用于计算和 ADC 转换，从而显著节省面积。此外，CR-CIM 通过在操作期间保持信号电荷静止来消除信号衰减，使比较器能效提升 4 倍。我们还提出了一种软件-模拟协同设计技术，将多数投票集成到 10 位 ADC 中，以根据运行层动态优化 CIM 噪声性能，进一步节省推理功耗。我们的 CR-CIM 实现了模拟 CIM 的最高计算精度，且 818 TOPS/W 的功耗效率与最先进水平相当。此外，考虑 SQNR 和 CSNR 的优值（FoM）分别比先前工作好 2.3 倍和 1.5 倍。实现了 Vision Transformer（ViT）推理，并为模拟 CIM 实现了最高的 CIFAR10 准确率 95.8%。
引用
@article{arxiv.2302.06463,
title = {An 818-TOPS/W CSNR-31dB SQNR-45dB 10-bit Capacitor-Reconfiguring Computing-in-Memory Macro with Software-Analog Co-Design for Transformers},
author = {Kentaro Yoshioka},
journal= {arXiv preprint arXiv:2302.06463},
year = {2023}
}
备注
2pages. Under review