大型语言模型具内在元认知能力，但需要良好工具
计算与语言
2025-10-31 v2
摘要
先前研究主要关注大型语言模型（LLM）的认知错误检测能力，常通过引导模型分析推理链中的错误。然而，少数研究考察了LLM的元认知能力（如对步骤错误的自我意识），而这对于其可靠性至关重要。尽管有关于LLM自评估的研究提供了一些措施，如困惑度（perplexity），可反映答案的正确性并被视为元认知的工具，但缺乏步骤级别的分析和适应性。本文研究了使用现有工具对LLM元认知进行评估的方式以及如何改进这些工具。具体而言，我们提出了AutoMeco——用于基准测试现有工具的自动化元认知评估框架。此外，我们提出了一种无训练的马尔可夫式内在奖励调整策略（MIRA），以提升当前的元认知工具。在三个数学推理数据集和三个LLM上的实验结果表明，AutoMeco通过与最佳-N验证进行比较显示其合理性。而且，使用MIRA可更好地评估LLM的元认知能力。
引用
@article{arxiv.2506.08410,
title = {Large Language Models Have Intrinsic Meta-Cognition, but Need a Good Lens},
author = {Ziyang Ma and Qingyue Yuan and Zhenglin Wang and Deyu Zhou},
journal= {arXiv preprint arXiv:2506.08410},
year = {2025}
}
备注
Accepted to EMNLP 2025