Run-and-back stitch search：面向流式编码器-解码器 ASR 的新型块同步解码
音频与语音处理
2022-01-26 v1 声音
摘要
编码器-解码器自动语音识别（ASR）系统的流式推理对于降低延迟至关重要，而低延迟对交互式应用场景不可或缺。为此，我们提出了一种新颖的块同步解码算法，采用混合方法结合了端点预测和端点后判定。在端点预测中，我们利用 CTC 后验概率计算当前块编码器特征中尚未发出的 token 数量的期望值。基于该期望值，解码器预测端点以实现连续的块同步，如同运行中的缝合。同时，端点后判定以概率方式检测由端点误预测引起的源-目标注意力后向跳跃，然后通过丢弃这些假设来恢复解码，如同回针缝合。我们将这些方法结合为一种混合方法，即运行与回溯缝合搜索（run-and-back stitch search），从而降低了计算成本和延迟。对各种 ASR 任务的评估显示了所提解码算法的效率，例如在 Librispeech 测试集上，它在保持高识别准确率的同时，将第 90 百分位数的延迟从 1487 毫秒降至 821 毫秒。
引用
@article{arxiv.2201.10190,
title = {Run-and-back stitch search: novel block synchronous decoding for streaming encoder-decoder ASR},
author = {Emiru Tsunoo and Chaitanya Narisetty and Michael Hentschel and Yosuke Kashiwagi and Shinji Watanabe},
journal= {arXiv preprint arXiv:2201.10190},
year = {2022}
}
备注
Accepted for ICASSP2022