当 AI 依赖摘要时，是否会对学术研究发现结果产生过度自信？
信息检索
2026-05-28 v1 数字图书馆
摘要
大型语言模型（LLM）如 ChatGPT、DeepSeek 和 Gemini 正在越来越多地用于知识发现、信息检索和知识总结，包括用于学术主题。这可能会导致用户受到误导，例如由于幻觉问题。这些问题可能因 LLM 基于期刊文章摘要而非全文进行回答而在学术知识领域得到加剧。为测试摘要信息内容是否可能误导，我们将全文文章提交给 GPT-OSS 120B——来自 OpenAI 的一种大型语言模型，要求其分别评估摘要、讨论和结论部分对主要结果诊断力度的强度。在社会科学和人文科学之外，诊断力度在摘要和结论中倾向于比讨论部分更强，表明如果仅依赖摘要中诊断力度的强度将是误导性的。因此，如果 LLM 仅摄取摘要而不获取全文，则存在其对发现结果过度自信的风险，并将其传递给针对相关提示的响应用户。这又是为何对于使用 LLM 进行学术相关知识发现和总结要谨慎的另一原因。
引用
@article{arxiv.2605.27392,
title = {Will AI be overconfident about academic research findings when reliant on abstracts? (v1)},
author = {Mike Thelwall},
journal= {arXiv preprint arXiv:2605.27392},
year = {2026}
}