用于低延迟语音识别的摊销神经网络
音频与语音处理
2021-08-04 v1 声音
摘要
我们引入了摊销神经网络（AmNets），这是一种特别适合序列建模任务的计算成本和延迟感知型网络架构。我们将AmNets应用于循环神经网络转换器（RNN-T），以降低自动语音识别（ASR）任务的计算成本和延迟。AmNets RNN-T架构使网络能够在逐帧的基础上动态切换编码器分支。这些分支具有不同水平的计算成本和模型容量。在此，我们为两种著名的候选技术实现了可变计算量：一种使用稀疏剪枝，另一种使用矩阵分解。逐帧切换由一个仲裁网络决定，该网络所需的计算开销可忽略不计。我们使用这两种架构在LibriSpeech数据上展示了结果，并表明我们提出的架构可以将推理成本降低高达45%，并将延迟降低到接近实时，而不会造成精度损失。
引用
@article{arxiv.2108.01553,
title = {Amortized Neural Networks for Low-Latency Speech Recognition},
author = {Jonathan Macoskey and Grant P. Strimel and Jinru Su and Ariya Rastrow},
journal= {arXiv preprint arXiv:2108.01553},
year = {2021}
}
备注
Accepted at Interspeech 2021