DaLA：面向真实错误引导的丹麦语语言可接受性评估基准

我们提出了一个用于评估丹麦语语言可接受性的增强基准。首先，我们分析了书写丹麦语中最常见的错误类型。基于此分析，我们引入了一套十四种损坏函数，通过系统性地引入错误来生成不正确的句子。为确保这些损坏的准确性，我们使用了人工和自动方法进行评估。结果随后用于评估大型语言模型在语言可接受性判断任务上的表现。我们的发现表明，这一扩展不仅覆盖面更广、更全面，而且优于当前最先进的工作。通过包含更丰富的损坏类型，本基准对语言可接受性提供了更严格的评估，增加了任务难度，证据在于我们基准上 LLM 的表现低于现有基准。我们的结果还表明，本基准具有更高的区分能力，有助于更好地区分表现良好的模型与表现较差的模型。