没有完美的词嵌入模型：媒体中社会偏见的表征准确性评估
计算与语言
2022-11-08 v1
摘要
新闻文章既塑造又反映各政治派别的公众舆论。因此，分析其中的社会偏见可提供有价值的见解，例如社会和媒体中普遍存在的刻板印象，这些刻板印象常被在相应数据上训练的 NLP 模型所采纳。近期工作依赖于词嵌入偏见度量，如 WEAT。然而，嵌入的若干表征问题会损害度量的准确性，包括低资源场景和词元频率差异。在本工作中，我们研究何种嵌入算法最适合准确度量已知存在于美国在线新闻文章中的各类社会偏见。为覆盖美国政治偏见的全谱，我们收集了 50 万篇文章，并参考心理学文献中关于预期社会偏见的论述。随后，我们使用 WEAT 以及考虑了上述问题的嵌入算法来量化社会偏见。我们比较了用这些算法在新闻文章上训练的模型对预期社会偏见的表征情况。我们的结果表明，量化偏见的常规方式与心理学知识并不吻合。尽管所提出的算法缩小了差距，但仍未完全与文献一致。
引用
@article{arxiv.2211.03634,
title = {No Word Embedding Model Is Perfect: Evaluating the Representation Accuracy for Social Bias in the Media},
author = {Maximilian Spliethöver and Maximilian Keiff and Henning Wachsmuth},
journal= {arXiv preprint arXiv:2211.03634},
year = {2022}
}
备注
Accepted to Findings of the Association for Computational Linguistics: EMNLP 2022