LLM 还是人类？研究摘要中信任与信息质量的感知
计算机与社会
2026-01-23 v1 计算与语言
摘要
大型语言模型（LLM）日益被用于生成和编辑科学摘要，然而其融入学术写作引发了对信任、质量和披露的疑问。尽管采用率不断增长，但关于读者如何感知 LLM 生成的摘要以及这些感知如何影响对科学工作的评价，目前仍知之甚少。本文提出了一项混合方法调查研究实验，旨在探讨具备机器学习专业知识的读者能否区分人类与 LLM 生成的摘要，实际和感知的 LLM 参与程度如何影响对质量和可信度的判断，以及读者对 AI 辅助写作采取何种取向。我们的研究结果表明，参与者难以可靠地识别 LLM 生成的内容，但其对 LLM 参与的信念显著影响了他们的评价。值得注意的是，由 LLM 编辑的摘要获得的评价优于仅由人类或 LLM 撰写的摘要。我们还识别出读者对 LLM 辅助写作的三种不同取向，为科学传播中关于披露和可接受使用的规范演变提供了见解，并为相关政策制定提供了参考。
引用
@article{arxiv.2601.15556,
title = {LLM or Human? Perceptions of Trust and Information Quality in Research Summaries},
author = {Nil-Jana Akpinar and Sandeep Avula and CJ Lee and Brandon Dang and Kaza Razat and Vanessa Murdock},
journal= {arXiv preprint arXiv:2601.15556},
year = {2026}
}
备注
Accepted to ACM CHI conference on Human Factors in Computing Systems(CHI 2026)