看见推理:LLM 理由如何影响事实验证任务中的用户信任与决策
人机交互
2026-03-10 v1
摘要
大型语言模型(LLM)日益显示出伴随答案的推理理由,将“推理”变成用户界面元素。虽然逐步推理的理由通常与模型性能相关,但它们如何影响事实验证任务中用户的信任与决策尚不清楚。我们进行了一次在线研究(N=68),通过操控 LLM 推理理由的三个属性来进行实验:呈现格式(即时 vs. 延迟 vs. 按需)、正确性(正确 vs. 错误)以及确定性框架(无 vs. 确定 vs. 不确定)。我们发现,正确的理由和确定性线索会增加用户信任、决策自信度以及 AI 建议采纳率,而不确定性线索则会降低这些指标。呈现格式并未产生显著影响,表明用户对推理揭示的方式不如其可靠性敏感。参与者表明,他们会使用理由来主要审计输出并校准信任,预期理由以逐步、自适应的形式呈现并包含确定性指示器。我们的工作表明,若设计不当,用户面向的理由既可以支持决策,又会误校准信任。
引用
@article{arxiv.2603.07306,
title = {Seeing the Reasoning: How LLM Rationales Influence User Trust and Decision-Making in Factual Verification Tasks},
author = {Xin Sun and Shu Wei and Jos A Bosch and Isao Echizen and Saku Sugawara and Abdallah El Ali},
journal= {arXiv preprint arXiv:2603.07306},
year = {2026}
}