性别如何与政治价值观相互作用：基于捷克语 BERT 模型的案例研究

神经语言模型在大多数自然语言处理任务上取得了 state-of-the-art 的结果，其训练所用的大型文本语料库不可避免地包含带有价值倾向的内容，并常常捕获模型所反映的不良偏见。本案例研究关注捷克语预训练编码器的政治偏见，并将其与一项具有代表性的价值观调查进行比较。由于捷克语是一种带有性别标记的语言，我们还测量了语法性别与调查中对男性和女性回答的吻合程度。我们引入了一种新方法来测量模型感知到的政治价值观。我们发现，模型并未按照价值驱动的推理来分配陈述概率，且阴性句子与阳性句子之间不存在系统性差异。我们得出结论，BERT 规模的模型并未表现出与政治价值观的系统一致性，模型中观察到的偏见更多源于对训练数据模式的表面模仿，而非模型中编码的系统性价值信念。