迷失于变体？评估巴斯克语和西班牙语地理变体的 NLI 性能
计算与语言
2025-07-24 v2
摘要
本文评估当前语言技术理解巴斯克语和西班牙语语言变体的能力。我们采用自然语言推理（NLI）作为任务基准，引入一个新构建的巴斯克语和西班牙语平行数据集，涵盖其各类变体。我们的实验使用基于编码器和基于解码器的大语言模型（LLM）进行跨语言和零样本学习实验，结果显示在处理语言变体时性能下降，尤其在巴斯克语表现更为显著。错误分析表明，这一下降并非源于词汇重叠，而是源于语言变体本身。进一步的消融实验表明，基于编码器的模型在西班牙语西部方言方面尤为吃力，这与语言理论中指出的边缘方言（如西部方言）与标准语的距离更远的观察相吻合。所有数据和代码均公开可用。
引用
@article{arxiv.2506.15239,
title = {Lost in Variation? Evaluating NLI Performance in Basque and Spanish Geographical Variants},
author = {Jaione Bengoetxea and Itziar Gonzalez-Dios and Rodrigo Agerri},
journal= {arXiv preprint arXiv:2506.15239},
year = {2025}
}