微小而精确：用于超高效 DNN 实现的剪枝、量化与优化忆阻器交叉阵列框架
信号处理
2019-09-04 v1 硬件体系结构
新兴技术
机器学习
神经与进化计算
摘要
最先进的 DNN 结构涉及密集计算和高内存存储。为缓解这些挑战，忆阻器交叉阵列已成为一种本质上适用于矩阵计算和低功耗加速 DNN 应用的框架。然而，在忆阻器交叉阵列架构上实现极端模型压缩的高精度方案仍有待揭示。本文中，我们提出一种基于忆阻器的 DNN 框架，其结合结构化权重剪枝与量化，并引入交替方向乘子法(ADMM)算法以提升剪枝与量化性能。我们还发现了 ADMM 解在权重剪枝中的非最优性，以及结构化剪枝模型中未使用的数据路径。受这些发现启发，我们设计了一个软件-硬件协同优化框架，包含首创的 Network Purification 与 Unused Path Removal 算法，用于在 ADMM 步骤后后处理结构化剪枝模型。通过将忆阻器硬件约束纳入整体框架，我们在最先进神经网络结构上实现了极高压缩比且精度损失最小。对于结构化剪枝模型的量化，我们的框架在将权重量化为 8 位忆阻器权重表示后几乎无精度损失。我们在匿名链接 https://bit.ly/2VnMUy0 分享了模型。
引用
@article{arxiv.1908.10017,
title = {Tiny but Accurate: A Pruned, Quantized and Optimized Memristor Crossbar Framework for Ultra Efficient DNN Implementation},
author = {Xiaolong Ma and Geng Yuan and Sheng Lin and Caiwen Ding and Fuxun Yu and Tao Liu and Wujie Wen and Xiang Chen and Yanzhi Wang},
journal= {arXiv preprint arXiv:1908.10017},
year = {2019}
}