一种确保新闻文章公平性的方法

推荐系统、信息检索及其他信息访问系统在为非结构化文本检验和应用公平性与偏差缓解概念时面临独特挑战。本文介绍 Dbias，这是一个用于确保新闻文章公平性的 Python 包。Dbias 是一个训练好的机器学习（ML）流水线，可接收一段文本（例如一个段落或新闻故事）并检测该文本是否存在偏差。随后，它检测文本中的偏差词，将其掩码，并推荐一组含有无偏差或至少偏差更小的新词的句子。我们融入数据科学最佳实践要素，以确保该流水线可复现且可用。我们在实验中表明，该流水线可有效缓解偏差，并在确保新闻文章公平性方面优于常见的神经网络架构。