Promptformer：用于 ASR 的提示驱动 Conformer 转导器
计算与语言
2024-01-17 v1 声音
音频与语音处理
摘要
上下文线索携带可以改善自动语音识别 (ASR) 系统中多轮交互的信息。在本文中，我们引入了一种受超提示启发的新机制，以在注意力机制中将文本上下文与声学表示融合。在包含多轮交互的测试集上的结果表明，与强基线相比，我们的方法实现了 5.9% 的相对词错误率降低 (rWERR)。我们表明，我们的方法在缺乏上下文时不会退化，即使模型在没有上下文的情况下进行训练也能带来改进。我们进一步表明，利用预训练的 sentence-piece 模型进行上下文嵌入生成，其性能可以超越外部的 BERT 模型。
引用
@article{arxiv.2401.07360,
title = {Promptformer: Prompted Conformer Transducer for ASR},
author = {Sergio Duarte-Torres and Arunasish Sen and Aman Rana and Lukas Drude and Alejandro Gomez-Alanis and Andreas Schwarz and Leif Rädel and Volker Leutnant},
journal= {arXiv preprint arXiv:2401.07360},
year = {2024}
}