面向语码转换语音的端到端语音翻译
计算与语言
2022-04-12 v1 声音
音频与语音处理
摘要
语码转换(CS)指交替使用来自不同语言的词语和短语的现象。由于底层系统通常为单语性质，CS会给NLP带来显著的准确性挑战。本工作中，我们关注英语/西班牙语对话中的CS，用于语音翻译(ST)任务，生成并评估转写文本与翻译。为评估模型在此任务上的性能，我们基于现有公共数据集创建了一个新颖的ST语料库。我们沿两个维度探索多种ST架构：级联式（先转写后翻译）与端到端式（联合转写与翻译），以及单向（源->目标）与双向（源<->目标）。我们表明，我们的ST架构，尤其是双向端到端架构，即使在未使用CS训练数据的情况下，也能在CS语音上表现良好。
引用
@article{arxiv.2204.05076,
title = {End-to-End Speech Translation for Code Switched Speech},
author = {Orion Weller and Matthias Sperber and Telmo Pires and Hendra Setiawan and Christian Gollan and Dominic Telaar and Matthias Paulik},
journal= {arXiv preprint arXiv:2204.05076},
year = {2022}
}
备注
Accepted to Findings of ACL 2022