由同步流式 ASR 辅助的直接同步语音到文本翻译
计算与语言
2021-06-15 v1 声音
音频与语音处理
摘要
同步语音到文本翻译在许多场景中广泛有用。传统的级联方法使用流式 ASR 后接同步 MT 的流水线，但存在错误传播和额外延迟的问题。为缓解这些问题，近期研究尝试直接将源语音同步翻译为目标文本，但由于结合了两个独立任务，这要困难得多。我们转而提出一种兼具级联和端到端方法优势的新范式。关键思想是在流式 ASR 和直接语音到文本翻译（ST）上分别使用两个独立但同步的解码器，且 ASR 的中间结果引导（但不作为输入馈入）ST 的解码策略。在训练时，我们使用多任务学习以共享编码器联合学习这两个任务。在 MuSTC 数据集上的英到德和英到西实验表明，我们提出的技术在相似延迟水平下实现了显著更好的翻译质量。
引用
@article{arxiv.2106.06636,
title = {Direct Simultaneous Speech-to-Text Translation Assisted by Synchronized Streaming ASR},
author = {Junkun Chen and Mingbo Ma and Renjie Zheng and Liang Huang},
journal= {arXiv preprint arXiv:2106.06636},
year = {2021}
}
备注
accepted by Findings of ACL 2021