StableEmit：用于降低流式单调注意力ASR发射延迟的选择概率折扣
音频与语音处理
2021-07-16 v2 计算与语言
声音
摘要
尽管基于注意力的编码器-解码器（AED）模型已成功扩展为用于流式自动语音识别（ASR）的在线变体，如单调分块注意力（MoChA），但由于端到端训练目标不受约束，这些模型仍存在较大的标签发射延迟。以往工作通过利用对齐信息来控制训练期间的令牌发射时机来解决该问题。本工作中，我们提出一种简单的无对齐正则化方法StableEmit，以鼓励MoChA更早发射令牌。StableEmit将硬单调注意力中用于令牌边界检测的选择概率按常数因子折扣，并正则化使其恢复训练期间的总注意力质量。结果，选择概率的尺度增大，其值可更早达到令牌发射阈值，从而降低发射延迟与删除错误。此外，StableEmit可与约束对齐的方法结合以进一步提升准确率与延迟。基于LSTM与Conformer编码器的实验评估表明，StableEmit显著同时降低了识别错误与发射延迟。我们还表明对齐信息的使用在两项指标上均是互补的。
引用
@article{arxiv.2107.00635,
title = {StableEmit: Selection Probability Discount for Reducing Emission Latency of Streaming Monotonic Attention ASR},
author = {Hirofumi Inaguma and Tatsuya Kawahara},
journal= {arXiv preprint arXiv:2107.00635},
year = {2021}
}
备注
Accepted at Interspeech 2021