利用BABE专家偏见标注进行远程监督的神经媒体偏见检测
计算与语言
2023-05-04 v1
摘要
媒体报道对公众的事件认知有实质性影响。然而，媒体机构常常带有偏见。对新闻文章产生偏见的一种方式是通过改变用词选择。通过用词选择自动识别偏见具有挑战性，主要由于缺乏黄金标准数据集以及高度的上下文依赖性。本文提出BABE，一个由受过训练专家创建的、用于媒体偏见研究的稳健且多样的数据集。我们还分析了为何在该领域内专家标注至关重要。我们的数据集相比现有工作具有更好的标注质量和更高标注者间一致性。它包含3,700个在主题和媒体间均衡分布的句子，带有词级和句级的媒体偏见标签。基于我们的数据，我们还引入了一种自动检测新闻文章中诱导偏见句子的方法。我们性能最佳的基于BERT的模型在由远程标签组成的更大型语料库上进行了预训练。在我们的有监督数据集上对模型进行微调与评估，我们取得了0.804的宏F1分数，优于现有方法。
引用
@article{arxiv.2209.14557,
title = {Neural Media Bias Detection Using Distant Supervision With BABE -- Bias Annotations By Experts},
author = {Timo Spinde and Manuel Plank and Jan-David Krieger and Terry Ruas and Bela Gipp and Akiko Aizawa},
journal= {arXiv preprint arXiv:2209.14557},
year = {2023}
}
备注
substantial text overlap with Ph.D. proposal by same author, part of dissertation arXiv:2112.13352