基于词嵌入的性别偏见度量对词频的不良依赖性
计算与语言
2023-01-03 v1 人工智能
摘要
大量工作使用基于词嵌入的度量来量化文本中的社会偏见与刻板印象。近期研究发现，词嵌入能够捕捉语义相似性，但可能受到词频的影响。在本工作中，我们研究了在使用基于词嵌入的偏见量化方法度量女性与男性性别偏见时频率所产生的影响。我们发现，负采样的 Skip-gram 与 GloVe 倾向于在高频词中检测出男性偏见，而 GloVe 倾向于在低频词中返回女性偏见。我们表明，即便在词语被随机打乱时这些行为依然存在。这证明，在未打乱语料中观察到的基于频率的效应源于度量本身的特性，而非词与词之间的关联。该效应是虚假且有问题的，因为偏见度量应当仅依赖于词共现而非单个词的频率。最后，我们将这些结果与基于点互信息（Pointwise Mutual Information）的另一种度量所得结果进行了比较。我们发现该度量并未表现出对频率的明显依赖，尽管其在所有频率上均略微偏向男性偏见。
引用
@article{arxiv.2301.00792,
title = {The Undesirable Dependence on Frequency of Gender Bias Metrics Based on Word Embeddings},
author = {Francisco Valentini and Germán Rosati and Diego Fernandez Slezak and Edgar Altszyler},
journal= {arXiv preprint arXiv:2301.00792},
year = {2023}
}
备注
Camera Ready for EMNLP 2022 (Findings)