TurBLiMP：土耳其语语言学最小对基准
计算与语言
2025-12-03 v2
摘要
我们提出了 TurBLiMP——首个土耳其语语言学最小对基准，旨在评估单语和多语语言模型（LMs）的语言能力。涵盖 16 种语言现象，每种 1000 个最小对，TurBLiMP 填补了土耳其语语言评估资源的重要空白。在设计该基准时，我们特别关注土耳其语的两个特性，这些特性在当前 LMs 的句法评估中仍研究不足，即语序灵活性和通过形态过程实现的从属。我们在一系列语言模型和一组新收集的人类可接受性判断上的实验表明，即使是最先进的大型语言模型仍然在人类不感到困难的语言现象上存在困难，并且在语序和形态复杂性方面可能表现出与人类不同的敏感性。
引用
@article{arxiv.2506.13487,
title = {TurBLiMP: A Turkish Benchmark of Linguistic Minimal Pairs},
author = {Ezgi Başar and Francesca Padovani and Jaap Jumelet and Arianna Bisazza},
journal= {arXiv preprint arXiv:2506.13487},
year = {2025}
}