潜在单调注意力变体的研究
计算与语言
2021-04-01 v1 人工智能
计算机视觉与模式识别
摘要
端到端模型在语音识别中达到了最先进的性能，但全局软注意力并非单调的，这可能导致收敛问题、不稳定性、泛化能力差，无法用于在线流式处理，并且计算效率低下。单调性有可能解决所有这些问题。已有若干引入单调性的临时解决方案或启发式方法，但迄今为止文献中很少见到原则性的引入方式。本文通过引入一个表示音频位置或片段边界的新潜在变量，给出了引入单调性的数学上干净的解决方案。我们将若干单调潜在模型与我们的全局软注意力基线进行比较，例如硬注意力模型、局部窗口软注意力模型和分段软注意力模型。我们可以表明我们的单调模型性能与全局软注意力模型一样好。我们在 Switchboard 300h 上进行实验。我们仔细列出了训练的详细信息并发布了代码与配置。
引用
@article{arxiv.2103.16710,
title = {A study of latent monotonic attention variants},
author = {Albert Zeyer and Ralf Schlüter and Hermann Ney},
journal= {arXiv preprint arXiv:2103.16710},
year = {2021}
}