mPLM-Sim：多语言预训练语言模型中更优的跨语言相似度与迁移
计算与语言
2024-07-08 v3
摘要
近来的多语言预训练语言模型（mPLMs）已被证明能够编码出在预训练期间未被显式提供的强语言特定信号。利用 mPLMs 度量语言相似度，并进而使用相似度结果选择源语言以提升跨语言迁移是否可行，仍是一个开放问题。为探究此问题，我们提出 mPLM-Sim，一种利用多平行语料从 mPLMs 中推导跨语言相似度的语言相似度度量。我们的研究表明，mPLM-Sim 与词汇统计、谱系语系和地理语言联盟等语言学相似度度量呈中等高度相关。我们还对低相关性语言进行了案例研究，观察到 mPLM-Sim 产生了更精确的相似度结果。此外，我们发现相似度结果因不同 mPLM 以及同一 mPLM 内不同层而异。我们进一步通过低层句法任务和高层语义任务的实验，考察 mPLM-Sim 对零样本跨语言迁移是否有效。实验结果表明，mPLM-Sim 能够比语言学度量选择更优的源语言，使零样本跨语言迁移性能提升 1%–2%。
引用
@article{arxiv.2305.13684,
title = {mPLM-Sim: Better Cross-Lingual Similarity and Transfer in Multilingual Pretrained Language Models},
author = {Peiqin Lin and Chengzhi Hu and Zheyu Zhang and André F. T. Martins and Hinrich Schütze},
journal= {arXiv preprint arXiv:2305.13684},
year = {2024}
}
备注
EACL 2024 Findings