利用克罗内克积将 RNN 压缩 15-38 倍以部署于 IoT 设备
机器学习
2020-02-03 v5 神经与进化计算
机器学习
摘要
循环神经网络（RNN）因其规模而在资源受限设备上难以部署。因此，需要能够在不过度影响任务精度的情况下显著压缩 RNN 的压缩技术。本文引入一种利用克罗内克积（KP）为资源受限环境压缩 RNN 的方法。KP 可将 RNN 层压缩 15-38 倍且精度损失极小。通过将所得模型量化为 8 位，我们进一步将压缩倍数推至 50 倍。我们表明，在跨越 3 种不同应用的 5 个基准上，KP 可击败其他最先进压缩技术所达成的任务精度，同时改善推理运行时间。我们表明 KP 压缩机制确实引入精度损失，可由所提出的混合 KP（HKP）方法缓解。我们的 HKP 算法提供对压缩比的细粒度控制，使我们能通过增加少量模型参数来挽回压缩中损失的精度。
引用
@article{arxiv.1906.02876,
title = {Compressing RNNs for IoT devices by 15-38x using Kronecker Products},
author = {Urmish Thakker and Jesse Beu and Dibakar Gope and Chu Zhou and Igor Fedorov and Ganesh Dasika and Matthew Mattina},
journal= {arXiv preprint arXiv:1906.02876},
year = {2020}
}