引入MBIB——首个媒体偏见识别基准任务与数据集集合
信息检索
2023-04-27 v1 人工智能
摘要
尽管媒体偏见检测是一个复杂的多任务问题，但迄今为止尚无统一基准对这些评估任务进行分组。我们引入媒体偏见识别基准（MBIB），这是一个综合性基准，将不同类型的媒体偏见（如语言、认知、政治）置于通用框架下，以测试潜在检测技术的泛化能力。在回顾115个数据集后，我们筛选出九项任务并精心提出22个相关数据集用于评估媒体偏见检测技术。我们使用最先进的Transformer技术（如T5、BART）对MBIB进行评估。我们的结果表明，虽然仇恨言论、种族偏见和性别偏见较易检测，但模型难以处理某些偏见类型，例如认知和政治偏见。然而，我们的结果显示没有单一技术能显著优于所有其他技术。我们还发现媒体偏见各任务的研究兴趣与资源分配存在不均衡。统一基准鼓励开发更鲁棒的系统，并将媒体偏见检测评估的当前范式转向同时应对多种而非单一媒体偏见类型的解决方案。
引用
@article{arxiv.2304.13148,
title = {Introducing MBIB -- the first Media Bias Identification Benchmark Task and Dataset Collection},
author = {Martin Wessel and Tomáš Horych and Terry Ruas and Akiko Aizawa and Bela Gipp and Timo Spinde},
journal= {arXiv preprint arXiv:2304.13148},
year = {2023}
}
备注
To be published in Proceedings of the 46th International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR '23)