无平行语料的零样本跨语言迁移
计算与语言
2023-10-10 v1
摘要
近年来，尽管预训练语言模型在多语言自然语言处理（Natural Language Processing, NLP）任务上取得了巨大成功，但低资源语言上许多任务训练数据的缺乏仍限制了其性能。解决该问题的一种有效方法是将知识从富资源语言迁移到低资源语言。然而，以往许多跨语言迁移工作严重依赖平行语料或翻译模型，而这些通常难以获取。我们提出了一种利用预训练模型进行零样本跨语言迁移的新方法。它包含一个双语任务适配（Bilingual Task Fitting）模块，用于应用任务相关的双语信息对齐；一个自训练模块为无标注数据生成伪软标签和硬标签，并利用它们进行自训练。我们在不同任务上取得了新的 SOTA，且完全不依赖平行语料或翻译模型。
引用
@article{arxiv.2310.04726,
title = {Zero-shot Cross-lingual Transfer without Parallel Corpus},
author = {Yuyang Zhang and Xiaofeng Han and Baojun Wang},
journal= {arXiv preprint arXiv:2310.04726},
year = {2023}
}