通过带不确定性估计的自学习提升跨语言迁移
计算与语言
2021-09-24 v2 机器学习
摘要
近期多语言预训练语言模型取得了显著的零样本性能，即模型仅在一个源语言上微调并直接在目标语言上评估。在本工作中，我们提出一种自学习框架，进一步利用目标语言的未标注数据，并在过程中结合不确定性估计以筛选高质量银标签。三种不同的不确定性被适配并具体分析于跨语言迁移：语言异方差/同方差不确定性（LEU/LOU）、证据不确定性（EVI）。我们在两项跨语言任务上以不确定性评估了我们的框架，包括命名实体识别（NER）和自然语言推理（NLI），共覆盖 40 种语言，相较基线在 NER 上平均高出 10 个 F1、在 NLI 上高出 2.5 个准确率分数。
引用
@article{arxiv.2109.00194,
title = {Boosting Cross-Lingual Transfer via Self-Learning with Uncertainty Estimation},
author = {Liyan Xu and Xuchao Zhang and Xujiang Zhao and Haifeng Chen and Feng Chen and Jinho D. Choi},
journal= {arXiv preprint arXiv:2109.00194},
year = {2021}
}
备注
Accepted to EMNLP 2021