循环神经网络的参数压缩与短期记忆的退化
计算机视觉与模式识别
2017-02-27 v2 机器学习
神经与进化计算
摘要
在数据中心和移动设备等大规模或资源受限环境中部署神经网络所带来的巨大计算成本，激发了人们对模型压缩的兴趣，因为这能够同时减少算术运算和存储开销。目前已有多项技术被提出用于减少或压缩前馈神经网络和卷积神经网络的参数，但关于参数压缩对循环神经网络（RNN）影响的研究尚不充分。特别是，循环参数能在多大程度上被压缩，以及这种压缩对短期记忆性能的影响，目前尚不清楚。在本文中，我们通过奇异值分解降秩来研究复杂度降低对多种任务中的 RNN 和最小门控循环单元（MGRU）网络的影响。我们表明，在压缩循环权重时，即使不进行微调，也可以实现显著的降秩。此外，我们提出了一个扰动模型，用于描述一般扰动（如压缩）对 RNN 循环参数的影响。该模型在一个无噪声记忆实验中进行了测试，该实验阐明了短期记忆的性能。通过这种方式，我们证明了循环参数压缩的效果取决于数据和任务中存在的时间相干性程度。这项工作可以为新环境或任务中的即时 RNN 压缩提供指导，并为在助听器等低功耗设备中应用 RNN 压缩提供见解。
引用
@article{arxiv.1612.00891,
title = {Parameter Compression of Recurrent Neural Networks and Degradation of Short-term Memory},
author = {Jonathan A. Cox},
journal= {arXiv preprint arXiv:1612.00891},
year = {2017}
}
备注
Accepted to IJCNN 2017. Final camera ready paper