多语言 BERT 的语言中立性如何？
计算与语言
2019-11-11 v1
摘要
多语言 BERT（mBERT）为 104 种语言提供句子表示，对许多多语言任务很有用。先前工作通过在形态和句法任务上的零样本迁移学习来探究 mBERT 的跨语言性。我们则关注 mBERT 的语义特性。我们表明 mBERT 表示可拆分为语言特定成分和语言中立成分，且语言中立成分在语义建模上具有足够的通用性，能够实现高精度的词对齐和句子检索，但对于更困难的机器翻译质量估计任务尚不够好。我们的工作提出了一些有趣的挑战，若要构建更好的语言中立表示，特别是针对需要语义语言迁移的任务，必须解决这些挑战。
引用
@article{arxiv.1911.03310,
title = {How Language-Neutral is Multilingual BERT?},
author = {Jindřich Libovický and Rudolf Rosa and Alexander Fraser},
journal= {arXiv preprint arXiv:1911.03310},
year = {2019}
}
备注
6 pages, 3 figures