RuCoLA：俄语语言可接受性语料库
计算与语言
2023-10-04 v1
摘要
语言可接受性（LA）因诸多用途而受到研究界的关注，例如测试语言模型的语法知识以及用可接受性分类器过滤不合理文本。然而，由于缺乏高质量资源，LA 在英语以外语言中的应用范围受到限制。为此，我们引入了俄语语言可接受性语料库（RuCoLA），其从零开始基于成熟的二值 LA 方法构建。RuCoLA 由来自语言学出版物的 k 领域内句子和由生成模型产生的 k 领域外句子组成。领域外集合的创建旨在促进可接受性在实际中用于改进语言生成。我们的论文描述了数据收集协议，并对一系列基线方法的可接受性分类实验进行了细粒度分析。特别地，我们表明最广泛使用的语言模型仍大幅落后于人类，尤其在检测形态和语义错误时。我们发布 RuCoLA、实验代码以及一个公开排行榜（rucola-benchmark.com），以评估俄语语言模型的语言能力。
引用
@article{arxiv.2210.12814,
title = {RuCoLA: Russian Corpus of Linguistic Acceptability},
author = {Vladislav Mikhailov and Tatiana Shamardina and Max Ryabinin and Alena Pestova and Ivan Smurov and Ekaterina Artemova},
journal= {arXiv preprint arXiv:2210.12814},
year = {2023}
}
备注
Accepted to the EMNLP 2022 main conference