中文

“数据另有说法”:数据主张的自动化事实核查

人机交互 2024-12-24 v2

摘要

对数据主张进行事实核查需要检索和分析数据证据,手动完成可能变得繁琐且耗时。本工作介绍了Aletheia,一个旨在促进数据主张验证和数据证据沟通的自动化事实核查原型。在验证方面,我们利用预训练的大型语言模型(LLM)来解析语义以进行证据检索。为了有效沟通数据证据,我们设计了两种表示形式:数据表格和可视化,以适应不同的数据类型。此外,我们设计了交互方式,展示了该技术的实际应用。我们使用一个包含400条数据主张的精选数据集评估了两个核心自然语言处理(NLP)任务的性能,并通过一个20名参与者的用户研究,比较了两种表示形式在评估时间、信心和偏好方面的差异。该评估为使用LLM进行数据事实核查任务的可行性和瓶颈、使用可视化相对于数据表格的潜在优缺点,以及呈现数据证据的设计建议提供了见解。

关键词

引用

@article{arxiv.2409.10713,
  title  = {"The Data Says Otherwise"-Towards Automated Fact-checking and Communication of Data Claims},
  author = {Yu Fu and Shunan Guo and Jane Hoffswell and Victor S. Bursztyn and Ryan Rossi and John Stasko},
  journal= {arXiv preprint arXiv:2409.10713},
  year   = {2024}
}

备注

20 pages, 13 figures, UIST 2024