GhostRNN：通过廉价操作降低 RNN 中状态冗余
计算与语言
2024-11-25 v1 人工智能
声音
音频与语音处理
摘要
能够建模长距离依赖关系的循环神经网络（RNN）在 various speech tasks 中广泛应用，例如关键词识别（KWS）和语音增强（SE）。由于低资源设备中对算力和内存的限制，对高效RNN模型迫切需求。本文提出一种高效RNN架构——GhostRNN，通过廉价操作减少隐藏状态的冗余。具体而言，我们观察到训练后RNN模型中部分隐藏状态维度与其他维度相似，这表明特定RNN存在冗余。为减少冗余及其计算成本，我们提出先生成少量内在状态，再应用廉价操作基于内在状态生成幽灵状态。在KWS和SE任务上的实验表明，所提出的GhostRNN在保持性能相似的同时，显著降低了内存使用量（约40%）和计算成本。
引用
@article{arxiv.2411.14489,
title = {GhostRNN: Reducing State Redundancy in RNN with Cheap Operations},
author = {Hang Zhou and Xiaoxu Zheng and Yunhe Wang and Michael Bi Mi and Deyi Xiong and Kai Han},
journal= {arXiv preprint arXiv:2411.14489},
year = {2024}
}