BiasLab：基于双轴标注与论证指示器的可解释政治偏见检测
计算与语言
2025-10-03 v2
摘要
我们提出BiasLab，这是一个包含300篇政治新闻文章的数据集，用于标注 perceived 思想偏见。这些文章选自覆盖多样政治事件和来源偏见的精选900篇文档池中。每篇文章由众包工作者沿两个独立尺度进行标注，评估对民主党和共和党的情感倾向，并丰富了论证指示器。标注管道包含针对性工作人员资格审核，并通过试点阶段分析进行了细化。我们量化了标注者间的一致性，分析了与来源层面 outlet 偏见之间的误差，并将结果标签组织成可解释的子集。此外，我们模拟使用 schema 受约束的 GPT-4o 进行标注，以直接比较人类标签，揭示其在误分类微妙右倾内容方面存在镜像不对称。我们定义两个建模任务：感知漂移预测和论证类型分类，并报告基线性能以说明可解释偏见检测的挑战。BiasLab的丰富论证标注提供可操作的解释，促进政治偏见的可解释建模，支持开发透明、社会感知的NLP系统。我们发布数据集、标注方案和建模代码，以鼓励研究人类在循环内可解释性以及现实环境中解释效果评估。
引用
@article{arxiv.2505.16081,
title = {BiasLab: Toward Explainable Political Bias Detection with Dual-Axis Annotations and Rationale Indicators},
author = {Kma Solaiman},
journal= {arXiv preprint arXiv:2505.16081},
year = {2025}
}
备注
Presented at ICML 2025 2nd Workshop on Models of Human Feedback for AI Alignment, Vancouver, Canada