用于零样本跨模态迁移的模块化语音到文本翻译
计算与语言
2023-10-09 v1
摘要
近期研究表明，通过共享定长表示组合的独立训练的编码器与解码器，可在语音到文本翻译中取得有竞争力的性能。在本工作中，我们展示此类方法可借助多语言训练进一步优化。我们观察到零样本跨模态语音翻译的显著提升，甚至在多种语言上优于基于 XLSR 的有监督方法。
引用
@article{arxiv.2310.03724,
title = {Modular Speech-to-Text Translation for Zero-Shot Cross-Modal Transfer},
author = {Paul-Ambroise Duquenne and Holger Schwenk and Benoît Sagot},
journal= {arXiv preprint arXiv:2310.03724},
year = {2023}
}