基于大语言模型的证据摘要在众包事实核查中的效率与效果

评估在线内容的真实性是应对虚假信息的关键措施。本研究通过比较分析两种众包真实性评估方法：一种是针对每个主张提供完整网页作为证据，另一种是使用大语言模型生成的证据文档摘要。采用 A/B 测试设置，我们邀请 diverse pool 的参与者在上述两种条件下评估语句的真实性。我们的分析探讨了评估质量和参与者行为模式。结果表明，依赖摘要证据在准确性和错误指标上与标准模式相当，但显著提高了效率。摘要模式下的工作者完成的评估数量显著增加，缩短了任务持续时间和成本。此外，摘要模式最大化了内部一致性，并维持了对证据的持续依赖和感知有用性，展示了其在大规模真实性评估中实现流程优化的潜力。