DPRed:使深度学习的典型激活值与权重值发挥关键作用
神经与进化计算
2018-12-18 v3
摘要
我们指出,为深度神经网络中所有值选取单一数据类型(精度),即便每层数据类型不同,也等同于最坏情况设计。若以更细粒度调整精度并针对常见情况,则可采用短得多的数据类型。我们提出动态精度缩减(DPRed),将权重与激活值分组,并用各组专属的精度进行编码。各组精度对权重静态选定,对激活值由硬件动态选定。我们利用这些精度来减少:1)片外存储及片外与片上通信,2)执行时间。与无压缩相比,DPRed压缩将16b与8b模型的片外流量平均分别降至约35%与33%。这使得在给定片外存储器接口下可维持更高性能,同时提升能效。我们还展示了这样的设计:处理每组激活值和/或权重所需时间随其所用精度成比例变化,适用于卷积层与全连接层。这改善了稠密与稀疏网络的执行时间与能效。我们展示了这些技术可用于8位网络,在利用动态精度可变性的两种不同硬件变体上分别实现了1.82倍与2.81倍加速。
引用
@article{arxiv.1804.06732,
title = {DPRed: Making Typical Activation and Weight Values Matter In Deep Learning Computing},
author = {Alberto Delmas and Sayeh Sharify and Patrick Judd and Kevin Siu and Milos Nikolic and Andreas Moshovos},
journal= {arXiv preprint arXiv:1804.06732},
year = {2018}
}