决策注意力正则化以改进同步语音翻译系统
声音
2022-06-20 v2 计算与语言
音频与语音处理
摘要
同步翻译系统在处理输入流中部分源句的同时开始生成输出。这些系统需要决定何时读取更多输入以及何时写出输出。这些决策取决于源/目标语言的结构以及部分输入序列所含的信息。因此，读取/写入决策策略在不同输入模态（即语音与文本）间保持一致。这促使我们利用对应于语音输入的文本转写本以改进同步语音到文本翻译（SimulST）。我们提出决策注意力正则化（Decision Attentive Regularization, DAR），通过使用同步文本到文本翻译（SimulMT）任务来改进SimulST系统的决策策略。我们还扩展了离线语音翻译领域的若干技术，以探索SimulMT任务在提升SimulST性能中的作用。总体而言，在MuST-C英德（EnDe）SimulST任务的不同延迟条件下，我们相比基线模型取得了34.66% / 4.5 BLEU的提升。
引用
@article{arxiv.2110.15729,
title = {Decision Attentive Regularization to Improve Simultaneous Speech Translation Systems},
author = {Mohd Abbas Zaidi and Beomseok Lee and Sangha Kim and Chanwoo Kim},
journal= {arXiv preprint arXiv:2110.15729},
year = {2022}
}
备注
5 pages, 3 figures, 1 table