ZmBART：一种用于语言生成的无监督跨语言迁移框架

尽管自然语言处理（NLP）研究近期取得了进展，但面向自然语言生成的跨语言迁移研究相对不足。在本工作中，我们将高资源语言（HRL）的监督信号迁移到多种低资源语言（LRLs）以进行自然语言生成（NLG）。我们考虑了四项NLG任务（文本摘要、问题生成、新闻标题生成和干扰项生成）以及三种句法差异较大的语言，即英语、印地语和日语。我们提出了一种无监督跨语言语言生成框架（称为ZmBART），该框架不使用任何平行或伪平行/回译数据。在此框架中，我们使用三种语言的单语数据，通过一项辅助任务进一步预训练mBART序列到序列去噪自编码器模型。该辅助任务的目标函数接近于目标任务，从而丰富了mBART的多语言潜在表示，并为目标任务提供了良好的初始化。随后，该模型使用任务特定的有监督英语数据进行微调，并在零样本设定下直接用低资源语言进行评估。为克服灾难性遗忘和虚假相关问题，我们分别采用了冻结模型组件和数据增强方法。这一简单的建模方法给了我们令人鼓舞的结果。我们使用少样本训练（1000个有监督数据点）进行了实验，进一步提升了模型性能。我们进行了多项消融实验和跨语言可迁移性分析，以证明ZmBART的鲁棒性。