超越人声:基于LLM的社区注释系统用于治理健康信息误传
社会与信息网络
2026-04-23 v3 计算与语言
摘要
社区注释(Community Notes)是X平台(前Twitter)的众包误信息治理系统,允许用户标记误导性帖子、附加背景注释并评估注释的有用性。然而,我们对30.8K篇健康相关注释的实证分析显示,存在显著延迟,即注释获得有用状态前的中位延迟为17.6小时。为提高实时信息误传潮流期间的响应速度,我们提出了CrowdNotes+,一个统一的LLM驱动框架,用于加速和提升健康信息误传治理的可靠性。CrowdNotes+集成了两种模式:(1)依据证据增强注释;(2)基于效用引导的注释自动化,由分层的三阶段评估(相关性、正确性和有用性)支持。我们实现了HealthNotes——一个包含1.2K篇健康注释的基准数据集,以及一个微调的有用性评判器。我们的分析首先揭示了当前众包治理中的一个关键漏洞:投票者常常将语言流畅性混为一谈。通过采用分层评估,实验在15个代表性LLM上表明,CrowdNotes+在注释正确性、有用性和证据效用方面显著优于人类贡献者。
引用
@article{arxiv.2510.11423,
title = {Beyond the Crowd: LLM-Augmented Community Notes for Governing Health Misinformation},
author = {Jiaying Wu and Zihang Fu and Haonan Wang and Fanxiao Li and Jiafeng Guo and Preslav Nakov and Min-Yen Kan},
journal= {arXiv preprint arXiv:2510.11423},
year = {2026}
}
备注
ACL 2026