双焦点神经ASR：利用关键词检测优化推理
音频与语音处理
2021-08-05 v1 声音
摘要
我们提出了双焦点RNN-T，这是循环神经网络转换器（RNN-T）架构的一种新变体，旨在改善语音识别任务上的推理时间延迟。该架构为其运行时计算路径启用了一个动态枢纽，即利用关键词检测来选择为给定音频帧执行网络的哪个组件。为了实现这一点，我们利用了一种我们称之为双焦点LSTM（BFLSTM）的循环单元，并在本文中对其进行了详细说明。该架构与量化、稀疏化以及应用时间缩减层等其他优化策略兼容，使其特别适用于已部署的实时语音识别环境。我们介绍了该架构，并报告了在语音助手语音识别任务上的对比实验结果。具体来说，我们展示了所提出的双焦点RNN-T可以在匹配词错误率的情况下将推理成本降低29.1%，而内存大小仅略有增加。
引用
@article{arxiv.2108.01704,
title = {Bifocal Neural ASR: Exploiting Keyword Spotting for Inference Optimization},
author = {Jonathan Macoskey and Grant P. Strimel and Ariya Rastrow},
journal= {arXiv preprint arXiv:2108.01704},
year = {2021}
}
备注
Accepted at ICASSP 2021