通过梯度重分配加速 Transformer 的混合 SLC-MLC RRAM 混合信号存内处理架构

Transformer 虽然具有革命性，但其极高的计算成本和大量数据移动带来了挑战。为解决此问题，我们提出了 HyFlexPIM，一种用于推理的新型混合信号存内处理（PIM）加速器，它灵活利用单层单元（SLC）和多层单元（MLC）RRAM 技术来权衡精度与效率。HyFlexPIM 通过将数字 PIM 用于高精度和写密集型操作，将模拟 PIM 用于高并行和低精度计算，实现了高效的双模操作。模拟 PIM 进一步在 SLC 和 MLC PIM 操作之间分配任务，其中单个模拟 PIM 模块可以以最小的开销（面积和能耗 <1%）重新配置以在两种操作（SLC/MLC）之间切换。关键权重被分配给 SLC RRAM 以保证高精度，而非关键权重被分配给 MLC RRAM 以最大化容量、功耗和延迟效率。然而，尽管采用了这种混合机制，由于 MLC 加速的权重比例有限以及明显的精度下降，硬件上的暴力映射未能带来显著收益。为了最大化我们混合硬件架构的潜力，我们提出了一种称为梯度重分配的算法协同优化技术，该技术使用奇异值分解（SVD）根据重要性对矩阵进行分解和截断，然后对其进行微调，以将显著性集中到一小部分权重中。通过这样做，仅有 5-10% 的权重具有主导性的大梯度，这有利于 HyFlexPIM 最小化昂贵的 SLC RRAM 的使用，同时最大化高效的 MLC RRAM 的使用。我们的评估表明，HyFlexPIM 显著提高了计算吞吐量和能效，最高分别比现有最先进方法高出 1.86 倍和 1.45 倍。