面向早期错误信息检测的人机协同评估：以COVID-19疗法为例
计算与语言
2023-07-04 v4
摘要
我们提出了一种人机协同评估框架，用于事实核查新型错误信息声明并识别支持它们的社交媒体消息。我们的方法提取值得核查的声明，对其进行聚合和排序以供审核。然后使用立场分类器识别支持新型错误信息声明的推文，并进一步审查以确定它们是否违反了相关政策。为证明我们方法的可行性，我们基于现代自然语言处理方法开发了一个基线系统，用于在COVID-19疗法领域进行人机协同事实核查。我们公开了数据和详细的标注指南，以支持对直接从原始用户生成内容中识别新型错误信息的人机协同系统进行评估。
引用
@article{arxiv.2212.09683,
title = {Human-in-the-loop Evaluation for Early Misinformation Detection: A Case Study of COVID-19 Treatments},
author = {Ethan Mendes and Yang Chen and Wei Xu and Alan Ritter},
journal= {arXiv preprint arXiv:2212.09683},
year = {2023}
}
备注
Accepted to ACL 2023 (main conference)