在Reddit中发现与分类语言偏见

我们提出一种使用词嵌入的数据驱动方法，以在讨论平台Reddit上发现并分类语言偏见。作为孤立用户社区的空间，诸如Reddit之类的平台正日益与种族主义、性别歧视和其他形式的歧视问题相关联。因此，有必要监控这些群体的语言。在大型文本数据集中追踪语言偏见最有前景的AI方法之一涉及词嵌入，其将文本转换为高维稠密向量并捕捉词之间的语义关系。然而，以往的研究需要预定义的潜在偏见集合来研究，例如性别是否与特定类型的工作或多或少相关。这使得这些方法不适合处理较小且以社区为中心的数据集（如Reddit上的那些），它们包含较小的词汇量和俚语，以及可能为该社区特有的偏见。本文提出一种数据驱动方法，自动发现Reddit上网络话语社区词汇中编码的语言偏见。在我们的方法中，受保护属性与数据中发现的评价性词语相连，然后通过语义分析系统进行分类。我们通过将我们在Google News数据集中发现的偏见与以往文献中的发现进行比较，验证了方法的有效性。随后我们成功发现了不同Reddit社区中的性别偏见、宗教偏见和族群偏见。最后我们讨论了该数据驱动偏见发现方法的潜在应用场景与局限性。