通过可逆投影的无监督自适应实现跨语言句法迁移
计算与语言
2021-04-30 v4 机器学习
摘要
跨语言迁移是在低资源语言中构建句法分析工具的有效途径。然而，当迁移到类型学上相距较远的语言时，尤其在既无标注目标数据也无平行语料库可用的情况下，迁移十分困难。本文关注面向远距离语言的跨语言迁移方法，并提出学习一个具有结构化先验的生成模型，该模型联合利用带标注的源语言数据与无标注的目标语言数据。源模型与目标模型的参数通过正则化对数似然目标实现软共享。我们采用可逆投影来学习一个新的语际潜在嵌入空间，以补偿不完善的跨语言词嵌入输入。我们在两项句法任务上评估了所提方法：词性（POS）标注与依存句法分析。在通用依存树库（Universal Dependency Treebanks）上，我们以英语作为唯一源语料并迁移到多种目标语言。在该数据集中与英语相距较远的10种语言上，相较于使用最先进判别模型的直接迁移方法，我们的方法在词性标注上取得了平均5.2%的绝对提升，在依存句法分析上取得了平均8.3%的绝对提升。
引用
@article{arxiv.1906.02656,
title = {Cross-Lingual Syntactic Transfer through Unsupervised Adaptation of Invertible Projections},
author = {Junxian He and Zhisong Zhang and Taylor Berg-Kirkpatrick and Graham Neubig},
journal= {arXiv preprint arXiv:1906.02656},
year = {2021}
}
备注
ACL 2019 long paper