具有统一双向解码器的非自回归 Transformer 用于自动语音识别

非自回归(NAR) Transformer 模型在自动语音识别(ASR)中已被深入研究，且 NAR Transformer 模型中有相当一部分使用因果掩码来限制词元依赖。然而，因果掩码是为非并行自回归(AR) Transformer 的从左至右解码过程设计的，这对于并行的 NAR Transformer 并不合适，因为它忽略了从右至左的上下文。已有一些模型被提出用额外解码器来利用从右至左的上下文，但这些方法增加了模型复杂度。为解决上述问题，我们提出了一种具有统一双向解码器(NAT-UBD)的新非自回归 Transformer，可同时利用从左至右与从右至左的上下文。然而，直接使用双向上下文会导致信息泄漏，即解码器输出可能受同位置输入中字符信息的影响。为避免信息泄漏，我们提出了一种新颖的注意力掩码并为 NAT-UBD 修改了原始的查询、键和值矩阵。实验结果验证 NAT-UBD 在 Aishell1 开发/测试集上可达到 5.0%/5.5% 的字符错误率(CER)，优于所有先前的 NAR Transformer 模型。此外，NAT-UBD 在单步解码时可比 AR Transformer 基线快 49.8 倍。