用于在线 ASR 的互约束单调多头注意力
计算与语言
2021-03-29 v1 声音
音频与语音处理
摘要
尽管具有实时解码的特性，单调多头注意力（MMA）在机器翻译与自动语音识别（ASR）任务中表现出与最先进离线方法相当的性能。然而，MMA 的延迟仍是 ASR 中的一大问题，应结合能够在推理时降低测试延迟的技术，例如头同步束搜索解码，其强制所有未激活头在首个头激活后的一个小固定延迟后激活。本文中，我们通过在 MMA 的训练中考虑测试时将会发生的跨多头交互，消除了训练与测试阶段间的不一致。具体而言，我们通过考虑其他头的边界从单调注意力推导出期望对齐，并将其反映于学习过程中。我们在两个标准 ASR 基准数据集上验证了所提方法，并表明我们的方法——从训练阶段起即具有互约束头的 MMA——提供了优于基线的性能。
引用
@article{arxiv.2103.14302,
title = {Mutually-Constrained Monotonic Multihead Attention for Online ASR},
author = {Jaeyun Song and Hajin Shim and Eunho Yang},
journal= {arXiv preprint arXiv:2103.14302},
year = {2021}
}
备注
Accepted at IEEE ICASSP 2021