使用端到端流水线方法处理文本中的偏见
计算与语言
2023-03-14 v1 人工智能
摘要
公平性的概念在学术界和工业界日益受到关注。社交媒体尤其容易受到媒体偏见以及有毒语言和评论的影响。我们提出了一种公平的机器学习流水线，以文本作为输入，判断其是否包含偏见和有毒内容。然后，基于预训练的词嵌入，它通过替换有偏见的词语来建议一组新词，其思路是用替代词替换这些偏见词，从而减轻这些偏见的影响。我们将我们的方法与现有的公平性模型进行比较，以确定其有效性。结果表明，我们提出的流水线能够检测、识别并缓解社交媒体数据中的偏见。
引用
@article{arxiv.2303.07024,
title = {Addressing Biases in the Texts using an End-to-End Pipeline Approach},
author = {Shaina Raza and Syed Raza Bashir and Sneha and Urooj Qamar},
journal= {arXiv preprint arXiv:2303.07024},
year = {2023}
}
备注
Accepted in Bias @ ECIR 2023