预训练语言模型的地理自适应
计算与语言
2024-01-30 v3
摘要
尽管预训练语言模型（PLMs）已被证明拥有丰富的语言知识，现有研究在很大程度上忽视了非语言知识，而这类知识通常难以仅通过对文本进行预训练获得。在此，我们通过考察地理语言知识（即关于语言地理变异的知识）来致力于弥补这一差距。我们引入地理自适应（geoadaptation），这是一种在多任务学习设置中将语言建模与地理位置预测相耦合的中间训练步骤。我们对来自三个地理区域语言组的四个 PLM 进行地理自适应，并在五项不同任务上评估它们：微调（即有监督）地理位置预测、零样本（即无监督）地理位置预测、微调语言识别、零样本语言识别，以及方言特征的零样本预测。地理自适应在将地理语言知识注入 PLM 方面非常成功：地理自适应后的 PLM 始终优于仅使用语言建模自适应的 PLM（在零样本预测任务上优势尤其明显），并且我们在地理位置预测和语言识别的两个基准上取得了新的 state-of-the-art 结果。此外，我们表明地理自适应的有效性源于其能够对被测 PLM 的表示空间进行地理改造。
引用
@article{arxiv.2203.08565,
title = {Geographic Adaptation of Pretrained Language Models},
author = {Valentin Hofmann and Goran Glavaš and Nikola Ljubešić and Janet B. Pierrehumbert and Hinrich Schütze},
journal= {arXiv preprint arXiv:2203.08565},
year = {2024}
}
备注
TACL 2024 (pre-MIT Press publication version)