SONAR：句子级多模态与语言无关表示
计算与语言
2023-08-24 v2
摘要
我们介绍 SONAR，一种全新的多语言多模态定长句子嵌入空间。我们单一的文本编码器覆盖 200 种语言，在 xsim 与 xsim++ 多语言相似度检索任务上大幅优于 LASER3 和 LabSE 等现有句子嵌入。语音片段可使用在特定于语言的语音编码器下嵌入同一 SONAR 嵌入空间，这些编码器以教师-学生设置在语音转写数据上训练。我们的编码器在相似度检索任务上优于现有语音编码器。我们还提供了 200 种语言的文本解码器，使我们能够执行文本到文本与语音到文本的机器翻译，包括零样本语言与模态组合。尽管存在定长瓶颈表示，我们的文本到文本结果仍可与最先进的 NLLB~1B 模型竞争。我们的零样本语音到文本翻译结果优于 Whisper 等强监督基线。
引用
@article{arxiv.2308.11466,
title = {SONAR: Sentence-Level Multimodal and Language-Agnostic Representations},
author = {Paul-Ambroise Duquenne and Holger Schwenk and Benoît Sagot},
journal= {arXiv preprint arXiv:2308.11466},
year = {2023}
}