大语言模型中的信心-能力鸿沟：一项认知研究

大语言模型（LLMs）因其在多个领域的表现而受到广泛关注。本研究探究了LLMs的认知能力与信心动态。我们深入理解了它们的自评信心与实际表现之间的一致性。我们利用多样化的问卷集与真实场景对这些模型进行探查，并提取LLMs在其回答中展现信心的方式。我们的发现揭示了有趣的实例：模型即使在回答错误时也表现出高信心。这让人联想到人类心理学中观察到的邓宁-克鲁格效应。相反，也存在模型给出正确回答却表现出低信心的情况，揭示了潜在的低估偏差。我们的结果强调需要更深入理解其认知过程。通过审视LLMs自评机制的细微之处，本调查提供了值得注意的揭示，有助于提升这些强大语言模型的功能并拓宽其潜在应用。