PaperTrail：面向 LLM 生成学术问答的主张-证据界面及其在知识来源追溯中的应用
人机交互
2026-02-25 v1 计算与语言
摘要
大型语言模型（LLM）越来越多地被用于学术问答（QA）系统中，以帮助研究者综合海量文献。然而，这些系统常常会产生细微错误（例如，支持性声明不足、遗漏错误），而当前的知识来源追溯机制（如来源引用） Granularity（粒度）不足，以至于无法满足学术领域对严格验证的要求。为此，我们引入 PaperTrail，一种一种新型界面，将 LLM 回答和来源文档均分解为离散的主张与证据，并将其映射，以揭示受支持的声明、不受支持的主张以及从来源文本中遗漏的信息。我们对 PaperTrail 进行了评估，在 26 名研究人员进行的 within-subject 研究中，参与者使用 PaperTrail 和基线界面完成了两种学术编辑任务。我们的结果表明，PaperTrail 显著降低了参与者对基线的信任程度。然而，这种 increased caution（增加的警惕）并未转化为行为上的改变，因为人们仍然依赖 LLM 生成的学术编辑来避免认知负担的任务。我们讨论了主张-证据匹配对于理解 LLM 在学术环境下的可信度的价值，并提出了认知友好型知识来源信息交流的设计含义。
引用
@article{arxiv.2602.21045,
title = {PaperTrail: A Claim-Evidence Interface for Grounding Provenance in LLM-based Scholarly Q&A},
author = {Anna Martin-Boyle and Cara A. C. Leckey and Martha C. Brown and Harmanpreet Kaur},
journal= {arXiv preprint arXiv:2602.21045},
year = {2026}
}
备注
25 pages, 3 figures. Accepted at the ACM CHI conference on Human Factors in Computing Systems 2026