利用语言差异性实现未见低资源变体的语言泛化
计算与语言
2026-05-07 v1 人工智能
摘要
特定群体使用的低资源语言变体在多语言语言模型的开发中仍然被忽视。大量跨语言研究关注语际语言迁移，致力于对齐相近的变体并最小化它们之间的差异。然而，对于低资源变体，语言差异性也是一个允许泛化到未见变体的重要线索。与以往方法不同，我们提出了一个两阶段的语言泛化框架，该框架专注于捕获变体特定的线索，同时利用高资源源变体提供的丰富重叠。首先，我们提出了 TOPPing，一种专门为低资源变体设计的源选择方法。其次，我们提出了一种轻量级的 VACAI-Bowl 架构，该架构通过一个分支学习变体特定属性，同时并行分支使用对抗训练捕获变体不变属性。我们在结构预测任务上评估了我们的框架，这是现有少数可用任务之一，作为其他下游任务性能的代理。使用带有 TOPPing 的 VACAI-Bowl 在依存句法分析任务中实现了平均 54.62% 的提升，该任务作为跨 10 个低资源变体在其他下游任务上性能的代理。
引用
@article{arxiv.2605.04500,
title = {Harnessing Linguistic Dissimilarity for Language Generalization on Unseen Low-Resource Varieties},
author = {Jinju Kim and Haeji Jung and Youjeong Roh and Jong Hwan Ko and David R. Mortensen},
journal= {arXiv preprint arXiv:2605.04500},
year = {2026}
}
备注
Accepted to CoNLL 2026