动态层级革新：面向移动设备循环神经网络压缩的 DirNet
机器学习
2018-06-12 v2 机器学习
摘要
循环神经网络（RNNs）在多种问题上取得了顶尖性能。然而，由于其高计算与内存需求，在资源受限的移动设备上部署 RNNs 是一项具有挑战性的任务。为保证最小精度损失并实现更高压缩率，且受移动端资源需求驱动，我们提出了一种基于优化快速字典学习算法的新型模型压缩方法 DirNet，其 1）在层内动态挖掘投影字典矩阵的字典原子以调整压缩率，2）自适应改变跨层级稀疏码的稀疏度。在语言模型和使用 1000 小时语音数据集训练的 ASR 模型上的实验结果表明，我们的方法显著优于先前方法。在现货移动设备上的评估表明，我们能够将原始模型大小压缩八倍，并实现实时模型推理与可忽略的精度损失。
引用
@article{arxiv.1806.01248,
title = {Dynamically Hierarchy Revolution: DirNet for Compressing Recurrent Neural Network on Mobile Devices},
author = {Jie Zhang and Xiaolong Wang and Dawei Li and Yalin Wang},
journal= {arXiv preprint arXiv:1806.01248},
year = {2018}
}
备注
Accepted by IJCAI-ECAI 2018