幻觉削弱信任；元认知是前进之道

尽管在事实可靠性方面取得了显著进步，但错误——常被称为幻觉——仍是生成式AI的一个主要关切，尤其当大型语言模型（LLM）被期望在更复杂或更细致的情境中提供帮助时。然而即便在最简单的情境——事实型问题解答且有明确真实答案的情境中， frontier模型在不使用外部工具的情况下仍会产生幻觉。我们认为，此领域大多数事实性提升都来自扩充模型知识边界（编码更多事实）而非提升其边界意识（区分已知与未知）。我们推测后者本质上具有挑战性：模型可能缺乏区分真理与错误的判别能力，导致在消除幻觉与保持实用性之间不可避免的权衡。这种权衡在另一种框架下会消失。如果我们将幻觉理解为在不恰当限定的情况下提供错误信息的自信表述，那么除了答案或放弃的二元对立之外，第三条道路也随之出现：表达不确定性。我们提出忠实于不确定性：将语言上的不确定性与内在不确定性保持一致。这正是元认知的一个方面——即对自身不确定性具有意识并据此行动的能力。对于直接交互而言，行动于不确定性意味着诚实地表达它；对于智能体系统而言，它则成为控制层，决定何时搜索以及值得信赖的事物。因此，元认知对于LLM既可信赖又有能力至关重要。我们通过阐述此目标的开放性问题，致力于推进这一目标。