斯堪的纳维亚语言模型中有害表征的度量

在性别平等方面，斯堪的纳维亚国家被视为典范。随着预训练语言模型的出现及其广泛使用，我们研究了所选斯堪的纳维亚语言模型在多大程度上存在基于性别的有害和毒性内容。我们通过对丹麦语、瑞典语和挪威语覆盖的九个模型，手动创建基于模板的句子并探测模型以进行补全。我们使用两种度量有害和毒性补全的方法来评估补全结果，并对结果提供透彻分析。我们表明，斯堪的纳维亚预训练语言模型包含基于性别的有害刻板印象，且各语言间数值相近。这一发现与关于斯堪的纳维亚国家性别平等的普遍预期相悖，并显示了在真实场景中使用此类模型可能带来的问题性后果。