基于最小对比对的语码转换评估

目前缺乏一种评估方法来衡量大语言模型(LLM)在多大程度上以与双语者相同的方式使用语码转换(CS)。现有方法语言覆盖范围不广，未能涵盖多样的 CS 现象，或无法扩展。我们提出了一种基于 CS 最小对比对的干预方法。每个最小对包含一个自然发生的 CS 句子和一个经过最小操作的变体。我们为 11 个语言对各自收集了多达 1,000 个这样的对。我们的人类实验表明，对于每一个语言对，双语者都始终偏好自然发生的 CS 句子。同时，我们对当前 LLM 的实验表明，模型越大，其将更高概率分配给自然发生的 CS 句子而非变体的一致性就越高。与理论主张一致，最大的概率差异出现在那些被操作材料由封闭类词组成的对中。