何为语言无关？探究多语言句子编码器中的类型学性质
计算与语言
2020-09-29 v1
摘要
多语言句子编码器在面向下游 NLP 任务的跨语言模型迁移中已取得诸多成功。然而，对于它们所编码的单个语言属性或语言变异的普遍模式，我们知之甚少。我们提出了一些方法，用以探测最先进的多语言编码器（LASER、M-BERT、XLM 和 XLM-R）的句子表示，涉及词汇、形态与句法结构的一系列类型学性质。此外，我们考察了这些信息在模型所有层中的分布方式。我们的结果显示了与不同预训练策略相关的编码语言变异方面的有趣差异。
引用
@article{arxiv.2009.12862,
title = {What does it mean to be language-agnostic? Probing multilingual sentence encoders for typological properties},
author = {Rochelle Choenni and Ekaterina Shutova},
journal= {arXiv preprint arXiv:2009.12862},
year = {2020}
}