T-Modules:用于零样本跨模态机器翻译的翻译模块
计算与语言
2022-11-11 v2
摘要
我们提出一种新方法,用于执行语音与文本之间翻译任务的零样本跨模态迁移。多语言语音与文本被编码于一个联合固定尺寸表示空间中。然后,我们比较不同的方法来解码这些多模态与多语言固定尺寸表示,从而实现语言与模态间的零样本翻译。我们所有模型均在无需跨模态标注翻译数据的情况下训练。尽管使用固定尺寸表示,我们在若干文本与语音翻译任务上取得了极具竞争力的结果。特别地,我们显著改进了 Must-C 上零样本语音翻译的当前最优水平。在我们的框架中引入语音解码器,我们给出了零样本直接语音到语音与文本到语音翻译的首个结果。
引用
@article{arxiv.2205.12216,
title = {T-Modules: Translation Modules for Zero-Shot Cross-Modal Machine Translation},
author = {Paul-Ambroise Duquenne and Hongyu Gong and Benoît Sagot and Holger Schwenk},
journal= {arXiv preprint arXiv:2205.12216},
year = {2022}
}