通过学会交流来学习翻译
计算与语言
2023-10-20 v2 人工智能
摘要
我们提出并测试了一种技术，利用涌现交流（EC）与预训练多语言模型相结合，以改进现代无监督神经机器翻译（NMT）系统，尤其是针对低资源语言。有观点认为，当前NLP中基于纯文本语料预训练的主导范式不会产生鲁棒的自然语言理解系统，并且亟需基于 grounding、目标导向和交互式的语言学习。在我们的方法中，我们将一个多语言模型（mBART, Liu et al., 2020）嵌入到一个EC图像指称游戏中，其中该模型被激励使用多语言生成来完成一个视觉接地任务。假设是，这将把多种语言对齐到一个共享的任务空间。我们提出了两种EC微调（Steinert-Threlkeld et al., 2022）的变体，其中一种在所考察的四种语言中均优于仅回译基线，包括低资源语言尼泊尔语。
引用
@article{arxiv.2207.07025,
title = {Learning to translate by learning to communicate},
author = {C. M. Downey and Xuhui Zhou and Leo Z. Liu and Shane Steinert-Threlkeld},
journal= {arXiv preprint arXiv:2207.07025},
year = {2023}
}
备注
Camera-ready for 3rd Multilingual Representation Learning Workshop (MRL 2023)