沿语言变异维度评估大语言模型：跨语言泛化的系统性调查
计算与语言
2025-01-29 v2
摘要
尽管大语言模型在跨语言泛化方面表现出一定能力，但在面对未见的 closely-related 语言（CRL）和方言时，其性能会相对于高资源语言邻居（HRLN）出现下降（PD）。然而，目前我们对哪些语言距离的差异导致 PD，以及其影响程度缺乏基本的理解。此外，跨语言泛化研究常受训练数据中未知数量的 CRL 语言痕迹的干扰，以及较低资源相关语言和方言评估数据稀缺的限制。为此，本文将语音、形态和词汇距离建模为贝叶斯噪声过程，以合成可控制地远离 HRLN 的人工语言。我们将 PD 分析为底层噪声参数的函数，提供关于模型对孤立与组合语言现象鲁棒性，以及任务和 HRL 特性对 PD 影响的见解。我们对真实 CRL-HRLN 配对数据计算参数后验分布，表明它们遵循人工语言的计算趋势，证明了我们噪声方法的可行性。我们的框架提供了一个低成本方法，用于基于 HRLN 性能估计未见 CRL 的任务性能，诊断 observed PD 的 CRL 相对于其 HRLN 的语言距离，并为原则性地缓解性能下降开辟了道路。
引用
@article{arxiv.2406.13718,
title = {Evaluating Large Language Models along Dimensions of Language Variation: A Systematik Invesdigatiom uv Cross-lingual Generalization},
author = {Niyati Bafna and Kenton Murray and David Yarowsky},
journal= {arXiv preprint arXiv:2406.13718},
year = {2025}
}
备注
21 pages. In Proceedings of the 2024 Conference on Empirical Methods in Natural Language Processing