NBIAS：一个用于文本偏见识别的自然语言处理框架
计算与语言
2023-08-30 v3 人工智能
摘要
文本数据中的偏见在数据被使用时会导致偏斜的解释与结果。这些偏见可能固化刻板印象、歧视或其他形式的不公平对待。在带有偏见的数据上训练的算法可能最终做出对某些人群产生不成比例影响的决策。因此，检测并消除这些偏见对于确保数据的公平与道德使用至关重要。为此，我们开发了一个全面而稳健的框架 NBIAS，其由四个主要层次组成：数据层、语料库构建层、模型开发层与评估层。该数据集通过收集来自社交媒体、医疗健康和招聘门户等多个领域的多样化数据构建而成。据此，我们应用了一个基于 transformer 的令牌分类模型，能够通过独特的命名实体 BIAS 识别偏见词/短语。在评估过程中，我们结合定量与定性度量来考量模型的有效性。相较于基线，我们实现了 1% 至 8% 的准确率提升。我们也能够对该模型运作机制形成稳健的理解。所提方法适用于多种偏见，并有助于文本数据的公平与道德使用。
引用
@article{arxiv.2308.01681,
title = {NBIAS: A Natural Language Processing Framework for Bias Identification in Text},
author = {Shaina Raza and Muskan Garg and Deepak John Reji and Syed Raza Bashir and Chen Ding},
journal= {arXiv preprint arXiv:2308.01681},
year = {2023}
}
备注
Under review