基于上下文嵌入变换的零样本跨语言依存句法分析
计算与语言
2021-09-08 v1
摘要
线性嵌入变换已被证明对零样本跨语言迁移任务有效，并取得了令人惊讶的 promising 结果。然而，跨语言嵌入空间映射通常在静态词级嵌入中研究，其中空间变换通过对齐词典所指的翻译对表示来推导。我们沿此方向更进一步，研究了一种 Sense 级且无需词典的上下文嵌入对齐方法。为提升映射质量，我们还深入分析了上下文嵌入的特性，即各向异性问题及其解决方案。在通过我们的嵌入变换构建的概念共享空间上进行的零样本依存句法分析实验，大幅优于使用多语言嵌入的当前最优方法。
引用
@article{arxiv.2103.02212,
title = {Zero-Shot Cross-Lingual Dependency Parsing through Contextual Embedding Transformation},
author = {Haoran Xu and Philipp Koehn},
journal= {arXiv preprint arXiv:2103.02212},
year = {2021}
}