SmartExchange：以更高成本的内存存储/访问换取更低成本的计算

我们提出 SmartExchange，一种算法-硬件协同设计框架，以更高成本的内存存储/访问换取更低成本的计算，用于深度神经网络（DNNs）的节能推理。我们开发了一种新颖算法来强制一种特别有利的 DNN 权重结构，其中每一层的权重矩阵可存储为一个小的基矩阵与一个大的稀疏系数矩阵的乘积，该系数矩阵的非零元素均为 2 的幂。据我们所知，该算法是首个将三种主流模型压缩思想——稀疏化或剪枝、分解和量化——集成到统一框架中的形式化方法。由此得到的稀疏且易于量化的 DNN 因而大幅降低了数据移动与权重存储的能耗。在此基础上，我们进一步设计了专用加速器，以充分利用 SmartExchange 强制的权重，提升能效与延迟性能。大量实验表明：1）在算法层面，基于九个 DNN 模型和四个数据集的多种消融研究中，SmartExchange 优于包括仅稀疏化或剪枝、分解和量化在内的最先进压缩技术；2）在硬件层面，所提出的基于 SmartExchange 的加速器在七个 DNN 模型（包括四个标准 DNN、两个紧凑 DNN 模型和一个分割模型）和三个数据集的基准测试中，相比四个最先进 DNN 加速器，能效最高提升 6.7$\times$，加速比最高提升 19.2$\times$。