词义嵌入也存在偏见——静态与上下文词义嵌入中的社会偏见评测

词义嵌入学习方法为歧义词的不同词义学习不同的嵌入。一个歧义词的某一词义可能具有社会偏见，而其他词义则无偏见。与众多先前评测预训练词嵌入中社会偏见的工作相比，词义嵌入中的偏见研究相对不足。我们创建了一个用于评测词义嵌入中社会偏见的基准数据集，并提出了新颖的义项特定偏见评测度量。我们利用所提度量对多种静态与上下文词义嵌入进行了针对各类社会偏见的广泛评测。实验结果表明，即使在词级别未发现偏见的情形下，义项级别仍存在令人担忧的社会偏见，而这些偏见常被词级别偏见评测度量所忽略。