SmartDeal：为重模型深度网络权重以实现高效推理与训练
机器学习
2021-12-23 v2 机器学习
摘要
深度神经网络 (DNNs) 破纪录的性能伴随着严重的参数化，导致需要外部动态随机存取存储器 (DRAM) 进行存储。DRAM 访问的惊人能耗使得在资源受限设备上部署 DNN 并非易事，因此需要最小化权重和数据移动以提高能效。我们提出 SmartDeal (SD)，一种用更高成本的内存存储/访问换取更低成本计算的算法框架，以大幅提升推理和训练的存储与能效。SD 的核心是一种带有结构约束的新颖权重分解，精心设计为释放硬件效率潜力。具体而言，我们将每个权重张量分解为一个小基矩阵和一个大的结构稀疏系数矩阵的乘积，后者的非零元素被量化为 2 的幂。由此产生的稀疏且量化的 DNN 大幅降低了数据移动和权重存储的能耗，由于稀疏位操作和成本有利的运算，恢复原始权重的开销极小。除推理外，我们更进一步拥抱高能效训练，引入创新技术以解决训练中出现的独特障碍，同时保持 SD 结构。我们还设计了一个专用硬件加速器，以充分利用 SD 结构来改善实际能效和延迟。我们在不同设置下的多个任务、模型和数据集上进行实验。结果表明：1) 应用于推理时，通过实际硬件实现评估，SD 实现了高达 2.44 倍的能效提升；2) 应用于训练时，与最先进的训练基线相比，SD 使存储和训练能耗分别降低 10.56 倍和 4.48 倍，且精度损失可忽略。我们的源代码在线可用。
引用
@article{arxiv.2101.01163,
title = {SmartDeal: Re-Modeling Deep Network Weights for Efficient Inference and Training},
author = {Xiaohan Chen and Yang Zhao and Yue Wang and Pengfei Xu and Haoran You and Chaojian Li and Yonggan Fu and Yingyan Lin and Zhangyang Wang},
journal= {arXiv preprint arXiv:2101.01163},
year = {2021}
}
备注
Accepted to IEEE Transactions on Neural Networks and Learning Systems arXiv admin note: substantial text overlap with arXiv:2005.03403