利用带句法依赖的 mBERT 嵌入进行跨语言词义消歧
计算与语言
2020-12-11 v1
摘要
跨语言词义消歧（WSD）旨在给定语境下消除跨语言歧义词的歧义。预训练的 BERT 嵌入模型已被证明能有效提取词的上下文信息，并作为特征被纳入许多最先进的 WSD 系统中。为探究如何将句法信息加入 BERT 嵌入以得到兼具语义与句法的词嵌入，本项目通过生成依存句法树并将词间相对关系编码进输入嵌入，提出了拼接嵌入方法。还提出了两种方法来降低拼接嵌入的维度。实验结果表明，这种融合句法的嵌入的高维特性构成了分类任务的障碍，需在后续研究中进一步解决。
引用
@article{arxiv.2012.05300,
title = {Cross-lingual Word Sense Disambiguation using mBERT Embeddings with Syntactic Dependencies},
author = {Xingran Zhu},
journal= {arXiv preprint arXiv:2012.05300},
year = {2020}
}