面向真实场景码切换语音的流式语音翻译
计算与语言
2023-10-24 v2
摘要
码切换（CS），即在单句中混合不同语言，是交流中的常见现象，并且在许多自然语言处理（NLP）场景中具挑战性。先前关于 CS 语音的研究在端到端语音翻译（ST）上展示了有前景的结果，但局限于离线场景以及翻译为源语言中存在的某一种语言（\textit{单语转写}）。在本文中，我们关注真实世界 CS 语音翻译中两个关键却未被探索的方向：流式场景，以及翻译为第三语言（即源中未包含的语言）。为此，我们扩展 Fisher 和 Miami 测试与验证数据集，以纳入西班牙语和德语的新目标。利用该数据，我们训练了用于离线与流式 ST 的模型，并为前述两种场景建立了基线结果。
引用
@article{arxiv.2310.12648,
title = {Towards Real-World Streaming Speech Translation for Code-Switched Speech},
author = {Belen Alastruey and Matthias Sperber and Christian Gollan and Dominic Telaar and Tim Ng and Aashish Agarwal},
journal= {arXiv preprint arXiv:2310.12648},
year = {2023}
}