度量多语言 Transformer 在句子分类上的跨语言可迁移性
计算与语言
2023-05-16 v1
摘要
近期研究展示了预训练多语言 Transformer 的卓越能力，尤其是跨语言可迁移性。然而，现有方法未能很好地度量跨语言可迁移性，阻碍了对多语言 Transformer 的理解。本文提出 IGap，一种用于句子分类任务上多语言 Transformer 的跨语言可迁移性度量指标。IGap 将训练误差纳入考虑，并且无需端任务数据即可估计可迁移性。实验结果表明，IGap 在可迁移性度量和迁移方向排序上均优于基线指标。此外，我们进行了广泛的系统性实验，比较了多种多语言 Transformer、微调算法和迁移方向之间的可迁移性。更重要的是，我们的结果揭示了关于跨语言迁移的三个发现，有助于我们更好地理解多语言 Transformer。
引用
@article{arxiv.2305.08800,
title = {Measuring Cross-Lingual Transferability of Multilingual Transformers on Sentence Classification},
author = {Zewen Chi and Heyan Huang and Xian-Ling Mao},
journal= {arXiv preprint arXiv:2305.08800},
year = {2023}
}