面向无监督机器翻译的流适配器架构
计算与语言
2022-04-27 v1
摘要
在这项工作中，我们提出了一种用于无监督神经机器翻译（NMT）的流适配器架构。它利用归一化流（normalizing flows）显式建模句子级潜在表示的分布，随后将这些表示与注意力机制结合用于翻译任务。我们模型的主要创新在于：(a) 使用归一化流分别为每种语言捕获特定语言的句子表示；(b) 使用这些潜在表示的简单变换实现从一种语言到另一种语言的翻译。该架构允许每种语言独立进行无监督训练。尽管已有关于有监督机器翻译中潜在变量的前期工作，但据我们所知，这是首个将潜在变量与归一化流用于无监督机器翻译的工作。我们在多个无监督机器翻译基准上取得了具有竞争力的结果。
引用
@article{arxiv.2204.12225,
title = {Flow-Adapter Architecture for Unsupervised Machine Translation},
author = {Yihong Liu and Haris Jabbar and Hinrich Schütze},
journal= {arXiv preprint arXiv:2204.12225},
year = {2022}
}
备注
ACL 2022