大型语言模型中事实、虚构与预测的表示：认识模态与态度
计算与语言
2025-06-03 v1 人工智能
摘要
理性的说话者理应知道自己所知与所不知，并生成与证据强度相匹配的表达。相比之下，在不确定的现实世界环境中，基于对事实的评估与置信度生成相应的表述，对当前的大型语言模型而言仍是一项挑战。尽管近期通过语言化不确定性来估计和校准 LLM 的置信度已变得流行，但缺乏对 LLM 潜在空间中编码的不确定性语言知识的细致考察。本文借助认识模态表达的类型学框架，使用受控故事来评估 LLM 对认识情态的知识。实验表明，LLM 在生成认识情态表达方面的表现有限且不稳健，因此 LLM 生成的不确定性表达并不总是可靠的。要构建具有不确定性感知能力的 LLM，有必要丰富 LLM 中关于认识情态的语义知识。
引用
@article{arxiv.2506.01512,
title = {Representations of Fact, Fiction and Forecast in Large Language Models: Epistemics and Attitudes},
author = {Meng Li and Michael Vrazitulis and David Schlangen},
journal= {arXiv preprint arXiv:2506.01512},
year = {2025}
}
备注
accepted by ACL 2025 (main)