增强单调多头注意力以实现流式 ASR
音频与语音处理
2020-10-01 v3 计算与语言
机器学习
声音
摘要
我们通过将硬单调注意力扩展到基于 Transformer 的自动语音识别（ASR）以用于在线流式应用，研究了单调多头注意力（MMA）。对于流式推理，所有单调注意力（MA）头都应学习恰当的对齐，因为在所有头检测到相应词边界之前不会生成下一个词符。然而，我们发现并非所有 MA 头都能通过朴素实现学习到对齐。为促使每个头恰当学习对齐，我们提出 HeadDrop 正则化，在训练期间随机掩蔽一部分头。此外，我们提出剪枝冗余头，以改善头之间在边界检测上的共识，并防止此类头导致的词符生成延迟。每个 MA 头上的分块注意力被扩展到多头对应形式。最后，我们提出头同步束搜索解码以保证稳定的流式推理。
引用
@article{arxiv.2005.09394,
title = {Enhancing Monotonic Multihead Attention for Streaming ASR},
author = {Hirofumi Inaguma and Masato Mimura and Tatsuya Kawahara},
journal= {arXiv preprint arXiv:2005.09394},
year = {2020}
}
备注
Accepted to Interspeech 2020