过短又过长：LLM 输出长度如何塑造人们的批判性思维
人工智能
2026-03-10 v1
摘要
大型语言模型（LLM）已成为教育和专业领域中常见的决策支持工具，引发关于其输出如何影响人类批判性思维的疑问。既有研究表明，AI 辅助量可影响认知参与度，但关于特定 LLM 输出属性（如输出长度）对用户批判性信息评估的影响仍知之甚少。本研究检验 LLM 输出长度是否塑造用户在批判性思维任务中评估 LLM 生成推理的准确性，尤其是在 LLM 推理正确性的互动情境下。为开展此评估，我们进行了一项以 24 名参与者为主导的 within-subject 实验，他们完成 15 项修改版 Watson--Glaser 批判性思维题目，每题均附有 LLM 生成的解释，解释长度和正确性各异。混合效应 logistic 回归结果显示，LLM 输出正确性对参与者准确率有强烈且统计可靠的影响，当 LLM 的解释正确时，参与者更倾向于给出正确答案。输出长度似乎在调节此效应：当 LLM 输出错误时，中等长度解释与更高的参与者准确率相关，优于较短或较长的解释；而当 LLM 输出正确时，准确率在各长度下均保持较高。综合这些发现，表明输出长度本身可能不足以支持批判性思维，而呈现方式——包括中等长度解释在某些条件下的潜在优势——指向强调透明推理和校准确定性表达的 LLM 基于决策支持系统的设计机会。
关键词
引用
@article{arxiv.2603.06878,
title = {Not Too Short, Not Too Long: How LLM Response Length Shapes People's Critical Thinking in Error Detection},
author = {Natalie Friedman and Adelaide Nyanyo and Kevin Weatherwax and Lifei Wang and Chengchao Zhu and Zeshu Zhu and S. Joy Mountford},
journal= {arXiv preprint arXiv:2603.06878},
year = {2026}
}
备注
6 pages, 1 table, 2 figures