面向社交媒体知识基准误导信息检测的高效标注可靠性评估与样本加权
机器学习
2025-07-29 v2 人工智能
社会与信息网络
摘要
误导信息在社交媒体上迅速传播，混淆真相并针对潜在易受影响人群。为了有效缓解误导信息的负面影响，首先必须在应用缓解策略（如 X 的社区注释）之前准确检测其存在，该过程目前仍为人工操作。本研究采用知识驱动的方法进行误导信息检测，将问题建模方式类似于自然语言推理。引入 EffiARA 标注框架，旨在利用标注者之间的和各自内部的一致性来了解每个标注者的可靠性，并影响基于标注者可靠性的大型语言模型分类训练。在评估 EffiARA 标注框架时，开发并公开了 Russo-Ukrainian Conflict Knowledge-Based Misinformation Classification Dataset（RUC-MCD）。本研究发现，使用标注者可靠性进行样本加权效果最佳，综合运用了标注者之间的和各自内部的一致性以及软标签训练。使用 Llama-3.2-1B 实现的最高分类性能为 macro-F1 为 0.757，使用 TwHIN-BERT-large 为 0.740。
引用
@article{arxiv.2410.14515,
title = {Efficient Annotator Reliability Assessment and Sample Weighting for Knowledge-Based Misinformation Detection on Social Media},
author = {Owen Cook and Charlie Grimshaw and Ben Wu and Sophie Dillon and Jack Hicks and Luke Jones and Thomas Smith and Matyas Szert and Xingyi Song},
journal= {arXiv preprint arXiv:2410.14515},
year = {2025}
}
备注
8 pages, 3 figures, 3 tables. Code available here: https://github.com/MiniEggz/ruc-misinfo; annotation framework available here: https://github.com/MiniEggz/EffiARA