俄语语言最小对基准 RuBLiMP
计算与语言
2024-10-03 v3
摘要
最小对是评估语言模型语法知识的已建立方法。然而，现有最小对资源仅覆盖有限语言，缺乏语言特定语法现象的多样性。本文介绍俄语语言最小对基准 (RuBLiMP)，其中包含 45000 组句子，这些句子在语法性上存在差异，且孤立地揭示了形态学、句法或语义现象。与现有语言最小对基准不同，RuBLiMP 通过对自动标注的开放文本语料中的句子应用语言扰动并仔细筛选测试数据来创建。我们描述了数据收集协议，并呈现了在各种情景下评估 25 个语言模型的结果。我们发现，广泛使用的俄语语言模型对形态学和一致性相关的对比表现出敏感性，但在结构关系、否定、及谓性和时态等现象的理解方面落后于人类。RuBLiMP、代码及其他材料均公开可用。
引用
@article{arxiv.2406.19232,
title = {RuBLiMP: Russian Benchmark of Linguistic Minimal Pairs},
author = {Ekaterina Taktasheva and Maxim Bazhukov and Kirill Koncha and Alena Fenogenova and Ekaterina Artemova and Vladislav Mikhailov},
journal= {arXiv preprint arXiv:2406.19232},
year = {2024}
}
备注
to appear in EMNLP 2024 (main)