上下文词嵌入的跨语言对齐及其在零样本依存句法分析中的应用
计算与语言
2019-04-05 v2 机器学习
摘要
我们提出一种利用以无监督方式预训练的深度上下文嵌入的多语言迁移新方法。尽管相较于静态嵌入，上下文嵌入已被证明能提供更丰富的语义表示，但由于其动态特性，对齐它们构成一项挑战。为此，我们构建原始单语空间的上下文无关变体，并利用其映射推导上下文相关空间的对齐。该映射直接支持目标语言处理，通过上下文感知嵌入改善迁移。我们的实验结果证明了该方法在零样本与少样本依存句法分析学习中的有效性。具体而言，我们的方法在6种被测语言上持续优于先前最优方法，平均提升6.8个LAS点。
引用
@article{arxiv.1902.09492,
title = {Cross-Lingual Alignment of Contextual Word Embeddings, with Applications to Zero-shot Dependency Parsing},
author = {Tal Schuster and Ori Ram and Regina Barzilay and Amir Globerson},
journal= {arXiv preprint arXiv:1902.09492},
year = {2019}
}
备注
NAACL 2019