DeepThin：一个用于深度神经网络的自压缩库
机器学习
2018-02-21 v1 机器学习
摘要
随着工业界将越来越大的复杂神经网络部署到移动设备，这些设备的内存和计算资源面临更大压力。深度压缩，或深度神经网络权重矩阵的压缩，是一种为此类场景延展资源的技术。现有压缩方法无法有效压缩小于原始尺寸 1-2% 的模型。我们开发了一种新压缩技术 DeepThin，建立在低秩分解领域的现有研究之上。我们通过将秩分解与为近似函数添加非线性的重塑过程相结合，识别并打破了低秩近似施加的人为约束。我们将 DeepThin 部署为与 TensorFlow 集成的可插拔库，使用户能够无缝地以不同粒度压缩模型。我们在两个最先进的声学模型 TFKaldi 和 DeepSpeech 上评估 DeepThin，将其与先前的压缩工作（剪枝、HashNet 和秩分解）、经验极限研究方法以及手工调优模型进行比较。对于 TFKaldi，我们的 DeepThin 网络在几乎所有测试的压缩率下均显示出比竞争方法更好的词错误率（WER），相对于秩分解平均相对改进 60%，相对于剪枝 57%，相对于同尺寸手工调优网络 23%，相对于计算昂贵的 HashedNets 6%。对于 DeepSpeech，DeepThin 压缩网络取得比所有其他压缩方法更好的测试损失，比秩分解好 28%，比剪枝好 27%，比同尺寸手工调优网络好 20%，比 HashedNets 好 12%。DeepThin 还提供推理性能收益，根据压缩比和平台缓存大小不同，加速比从 2X 到 14X 不等。
引用
@article{arxiv.1802.06944,
title = {DeepThin: A Self-Compressing Library for Deep Neural Networks},
author = {Matthew Sotoudeh and Sara S. Baghsorkhi},
journal= {arXiv preprint arXiv:1802.06944},
year = {2018}
}