情感分类器的跨语言迁移
计算与语言
2021-03-25 v3 机器学习
摘要
词嵌入将词表示为数值空间中的点，从而词之间的语义关系表示为向量空间中的距离与方向。跨语言词嵌入变换不同语言的向量空间，使相似词对齐。这是通过构建两种语言向量空间之间的映射或学习多种语言的联合向量空间来实现的。跨语言嵌入可用于在语言之间迁移机器学习模型，从而弥补低资源语言数据不足的问题。我们利用跨语言词嵌入在 13 种语言之间迁移用于 Twitter 情感预测的机器学习模型。我们关注两种近期展现出优越迁移性能的迁移机制。第一种机制使用以 LASER 库实现的、以多种语言的联合数值空间为输入的训练模型。第二种机制使用大规模预训练多语言 BERT 语言模型。我们的实验表明，即便没有目标语言数据，在相似语言之间迁移模型也是合理的。通过多语言 BERT 与 LASER 库获得的跨语言模型性能相当，且差异依赖于语言。仅以三种语言预训练的 CroSloEngual BERT 在这些语言及一些紧密相关的语言上迁移效果更优。
引用
@article{arxiv.2005.07456,
title = {Cross-lingual Transfer of Sentiment Classifiers},
author = {Marko Robnik-Sikonja and Kristjan Reba and Igor Mozetic},
journal= {arXiv preprint arXiv:2005.07456},
year = {2021}
}
备注
18 pages, 8 tables