用于改进端到端长语音 ASR 的记忆增强 conformer
音频与语音处理
2023-09-25 v1 人工智能
机器学习
声音
摘要
Conformer 近来被提出作为自动语音识别（ASR）的一种有前景建模方法，优于基于循环神经网络的方法与 transformer。然而，一般而言，这些端到端模型（尤其是基于注意力的模型）的性能在长语句情况下尤其退化。为应对此局限，我们提出在 conformer 的编码器与解码器之间加入一个全可微的记忆增强神经网络。该外部记忆可丰富对更长语句的泛化能力，因其允许系统递归地存储与检索更多信息。值得注意的是，我们探索了神经图灵机（NTM），由此得到我们提出的用于 ASR 的 Conformer-NTM 模型架构。使用 Librispeech train-clean-100 与 train-960 集的实验结果显示，所提系统在长语句上优于无记忆的基线 conformer。
引用
@article{arxiv.2309.13029,
title = {Memory-augmented conformer for improved end-to-end long-form ASR},
author = {Carlos Carvalho and Alberto Abad},
journal= {arXiv preprint arXiv:2309.13029},
year = {2023}
}