解锁偏见检测：利用基于Transformer的模型进行内容分析
计算与语言
2024-04-18 v3 人工智能
摘要
文本中的偏见检测对于遏制负面刻板印象、错误信息和偏倚决策的传播至关重要。传统语言模型常难以泛化至训练数据之外，且通常专为单一任务设计，多聚焦于句子级偏见检测。为此，我们提出上下文双向双Transformer（CBDT）\textcolor{green}{\faLeaf}分类器。该模型结合了两个互补的Transformer网络：上下文Transformer与实体Transformer，着重提升偏见检测能力。我们专门制备了一个数据集用于训练这些模型以识别并定位文本中的偏见。在多个数据集上的评估表明，CBDT \textcolor{green} 在区分偏见叙事与中性叙事及识别特定偏见术语方面有效。本工作为CBDT \textcolor{green} 模型应用于多种语言与文化语境铺平了道路，增强了其在偏见检测工作中的效用。我们同时公开了带标注的数据集以供研究使用。
引用
@article{arxiv.2310.00347,
title = {Unlocking Bias Detection: Leveraging Transformer-Based Models for Content Analysis},
author = {Shaina Raza and Oluwanifemi Bamgbose and Veronica Chatrath and Shardul Ghuge and Yan Sidyakin and Abdullah Y Muaad},
journal= {arXiv preprint arXiv:2310.00347},
year = {2024}
}
备注
Accepted in IEEE Transactions on Computational Social Systems