TraNNsformer：面向基于忆阻交叉阵列的神经形态系统设计的神经网络转换

采用基于后互补金属氧化物半导体（CMOS）技术的忆阻交叉阵列（MCA）实现神经形态系统，已成为实现神经网络低功耗加速的有前景方案。然而，近期为实现类人认知能力而设计深度神经网络（DNN）的趋势，对神经形态系统的可扩展设计提出了重大挑战（由于计算/存储需求的增加）。网络剪枝是一种强大的技术，可移除冗余连接以设计最优连接（最大稀疏）的 DNN。然而，此类剪枝技术会引发与交叉阵列结构不相容的不规则连接。最终它们产生的 DNN 在硬件实现上高度低效（在面积和能耗方面）。在本工作中，我们提出了 TraNNsformer——一个集成训练框架，可转换 DNN 以使其在基于 MCA 的系统上高效实现。TraNNsformer 首先对连接矩阵进行剪枝，同时将剩余连接形成簇。随后，它对网络进行重训练以微调连接并强化簇。该过程迭代执行，将原始连接性转换为最优剪枝且最大聚类的映射。在不损失精度的前提下，TraNNsformer 相对于原始网络减少了 28% - 55%（49% - 67%）的面积（能耗）。与网络剪枝相比，TraNNsformer 实现了 28% - 49%（15% - 29%）的面积（能耗）节省。此外，TraNNsformer 是一个技术感知框架，允许将给定 DNN 映射到忆阻技术所允许的任意 MCA 尺寸以进行可靠操作。