利用多语言神经机器翻译的零样本跨语言分类
计算与语言
2018-09-14 v1 人工智能
摘要
将大规模监督任务中的表示迁移到下游任务，已在计算机视觉与自然语言处理（NLP）等 AI 领域展现出前景。与此同时，机器翻译（MT）的最新进展使得人们能够训练多语言神经机器翻译（NMT）系统，其可在多种语言间翻译，并具备零样本翻译能力。然而，极少有研究关注利用多语言 NMT 系统学到的表示来实现其他 NLP 任务中的零样本多语言性。本文中，我们展示了一个简单框架——多语言编码器-分类器，通过复用多语言 NMT 系统的编码器并将其与任务特定分类器组件拼接，实现跨语言迁移学习。我们提出的模型在英语设定下于三个基准任务（Amazon Reviews、SST 与 SNLI）上取得显著提升。此外，我们的系统可在训练期间未见过任何分类数据的新语言中进行分类，表明零样本分类是可行且极具竞争力的。为理解促成该发现的内在因素，我们对共享词表、NMT 训练数据类型、分类器复杂度、编码器表示能力以及模型在零样本性能上的泛化进行了一系列分析。我们的结果强有力地证明，从多语言 NMT 系统学到的表示可广泛适用于不同语言与任务。
引用
@article{arxiv.1809.04686,
title = {Zero-Shot Cross-lingual Classification Using Multilingual Neural Machine Translation},
author = {Akiko Eriguchi and Melvin Johnson and Orhan Firat and Hideto Kazawa and Wolfgang Macherey},
journal= {arXiv preprint arXiv:1809.04686},
year = {2018}
}