通过一步约束束搜索加速RNN转导器推理
机器学习
2021-08-24 v1 音频与语音处理
信号处理
摘要
我们提出了一种一步约束（One-Step Constrained, OSC）束搜索，以加速循环神经网络（Recurrent Neural Network, RNN）转导器（RNN Transducer, RNN-T）的推理。原始的RNN-T束搜索包含一个while循环，导致解码过程速度下降。OSC束搜索通过向量化多个假设消除了该while循环。这种向量化并非易事，因为原始RNN-T束搜索中假设的扩展可能彼此不同。然而，我们发现大多数情况下假设在每个解码步仅扩展一次；因此，我们将最大扩展数约束为1，从而允许假设的向量化。为了进一步加速，我们对假设的前缀施加约束以剪枝冗余搜索空间。此外，OSC束搜索在解码过程中对假设进行重复检查，因为重复会不期望地缩小搜索空间。与其他RNN-T束搜索方法相比，我们以更低的音素和词错误率实现了显著的加速。
引用
@article{arxiv.2002.03577,
title = {Accelerating RNN Transducer Inference via One-Step Constrained Beam Search},
author = {Juntae Kim and Yoonhan Lee},
journal= {arXiv preprint arXiv:2002.03577},
year = {2021}
}
备注
4 pages