评估词嵌入性别偏见度量的可靠性

已有多种度量方法被提出以量化词嵌入中类人的社会偏见。然而，基于这些度量方法的偏见分数可能受到测量误差的影响。测量质量的一个指标是可靠性，即一个度量方法产生一致结果的程度。在本文中，我们评估了词嵌入性别偏见度量的三种可靠性，即重测可靠性、评分者间一致性和内部一致性。具体而言，我们研究了不同随机种子、评分规则和单词选择下偏见分数的一致性。此外，我们分析了各种因素对这些度量方法可靠性分数的影响。我们的发现为更好地设计词嵌入性别偏见度量提供了参考。此外，我们呼吁研究人员对这类度量方法的应用持更加批判的态度。