HQP：用于检测网络宣传的人工标注数据集
计算与语言
2024-11-27 v3
摘要
网络宣传对社会完整性构成严重威胁。然而，现有的网络宣传检测数据集存在一个关键局限：它们使用可能为噪声甚至不正确的弱标签进行标注。为应对该局限，我们的工作做出如下贡献：(1) 我们提出 HQP：一个用于检测网络宣传的、具有高质量标签的新型数据集 (N = 30,000)。据我们所知，HQP 是首个通过人工标注创建的用于检测网络宣传的大规模数据集。(2) 我们经实证表明，最先进的语言模型在采用弱标签训练时无法检测网络宣传 (AUC: 64.03)。相比之下，最先进的语言模型在使用我们的高质量标签训练时可准确检测网络宣传 (AUC: 92.25)，提升约 44%。(3) 我们表明，使用少量高质量标签的基于提示的学习仍可达到合理性能 (AUC: 80.27)，同时显著降低标注成本。(4) 我们将 HQP 扩展为 HQP+ 以测试跨不同语境的宣传检测效果。关键的是，我们的工作凸显了高质量标签对于宣传检测等敏感 NLP 任务的重要性。
引用
@article{arxiv.2304.14931,
title = {HQP: A Human-Annotated Dataset for Detecting Online Propaganda},
author = {Abdurahman Maarouf and Dominik Bär and Dominique Geissler and Stefan Feuerriegel},
journal= {arXiv preprint arXiv:2304.14931},
year = {2024}
}
备注
Accepted at ACL Findings 24