门控循环上下文：用于在线编码器-解码器语音识别的无 Softmax 注意力
音频与语音处理
2021-01-15 v3 声音
摘要
近来，基于注意力的编码器-解码器（AED）模型在自动语音识别（ASR）中展现出最优性能。由于带有全局注意力的原始 AED 模型无法进行在线推理，已发展出多种在线注意力方案以降低 ASR 延迟、改善用户体验。然而，传统的基于 softmax 的在线注意力方法的一个共同局限是引入了与注意力窗口长度相关的额外超参数，需要多次模型训练试验以调优该超参数。为处理此问题，我们提出一种新颖的无 softmax 注意力方法及其用于在线注意力的改进形式，其在训练阶段不需要任何额外超参数。通过大量 ASR 实验，我们证明所提在线注意力技术的延迟与性能之间的权衡仅需在测试阶段调节一个阈值即可控制。此外，所提方法在词错误率（WER）方面展现出与传统的全局及在线注意力相竞争的性能。
引用
@article{arxiv.2007.05214,
title = {Gated Recurrent Context: Softmax-free Attention for Online Encoder-Decoder Speech Recognition},
author = {Hyeonseung Lee and Woo Hyun Kang and Sung Jun Cheon and Hyeongju Kim and Nam Soo Kim},
journal= {arXiv preprint arXiv:2007.05214},
year = {2021}
}