基于重叠的词汇生成改进相关语言间的跨语言迁移

诸如 mBERT 与 XLM-R 的预训练多语言语言模型已展现出对低网络资源语言（LRL）进行零样本跨语言迁移的巨大潜力。然而，由于模型容量有限，高网络资源语言（HRL）与 LRL 之间可用单语语料库规模的巨大差异，未能提供足够的将 LRL 与 HRL 联合嵌入的空间，从而影响 LRL 的下游任务表现。本文认为，语言族内语言沿词汇重叠维度的相关性可被用以克服 LRL 的某些语料限制。我们提出 Overlap BPE（OBPE），一种对 BPE 词汇生成算法的简单而有效的修改，可增强相关语言间的重叠。通过在多个 NLP 任务与数据集上的大量实验，我们观察到 OBPE 生成的词汇通过与被 HRL 共享的词符增加了 LRL 的表征。这带来了从相关 HRL 到 LRL 改进的零样本迁移，且不降低 HRL 表征与精度。与先前忽视词符重叠重要性的研究不同，我们表明在低资源相关语言设定下，词符重叠至关重要。将重叠合成性地降为零可导致零样本迁移精度至多四倍的下降。