以人为中心的自然语言处理事实核查：与事实核查员通过 Matchmaking for AI 协同设计
人机交互
2024-12-24 v3 计算与语言
计算机与社会
摘要
尽管已有许多自然语言处理（NLP）技术被提出用于事实核查，但学术研究与事实核查机构均报告称，由于此类 NLP 工作与事实核查员的实践、价值观和需求契合度低，其采用十分有限。为此，我们探究了一种协同设计方法——Matchmaking for AI，以使事实核查员、设计师与 NLP 研究者能够协作确定哪些事实核查员需求应由技术满足，并头脑风暴潜在的解决方案构想。我们与 22 名专业事实核查员开展的协同设计会议产生了一组 11 个设计构想，它们提供了“北极星”，将事实核查员标准整合进新颖的 NLP 设计概念中。这些概念涵盖从预先揭批 misinformation、高效且个性化的 misinformation 监测、主动降低事实核查员潜在偏差，到协作撰写事实核查报告。我们的工作为以人为中心的事实核查研究与实务以及 AI 协同设计研究提供了新见解。
引用
@article{arxiv.2308.07213,
title = {Human-centered NLP Fact-checking: Co-Designing with Fact-checkers using Matchmaking for AI},
author = {Houjiang Liu and Anubrata Das and Alexander Boltz and Didi Zhou and Daisy Pinaroc and Matthew Lease and Min Kyung Lee},
journal= {arXiv preprint arXiv:2308.07213},
year = {2024}
}
备注
Accepted at CSCW 2024