关于你应该\text{监控}之前：在 LLM 中实现 Flavell 的元认知框架
人工智能
2025-10-21 v1
摘要
当前增强 LLM 推理的做法遵循两种孤立的范式：Monitor-Generate 方法如 Plan-and-Solve（Wang 等，2023）和 SELF-DISCOVER（Zhou 等，2024）在战略规划方面表现出色，但缺乏验证所选策略是否成功的机制；而 Generate-Verify 方法如 Self-Verification（Weng 等，2022）和 SELF-REFINE（Madaan 等，2023）进行迭代细化，但在没有任务评估的情况下就开始生成。这种分离导致效率低下——策略在没有反馈的情况下会失败，细化也缺乏战略性依据。我们通过实现来自更广泛 Monitor-Generate-Verify 框架（Oh 和 Gobet，2025）中的 Flavell（1979）的认知监控模型来弥补这一差距，将其操作化为三个阶段的迭代系统。在 GSM8K 上，初步结果显示准确率为 75.42%，分别高于 SELF-REFINE 的 68.44% 和 Self-Verification 的 67.07%，同时所需尝试次数更少（1.3 vs 2.0），且推理成本增加 27-37%。这些初始发现表明， upfront 监控会产生更高质量的初始解决方案，从而减少细化需求，尽管需要进一步评估Beyond 算术推理以确立其普适性。
引用
@article{arxiv.2510.16374,
title = {Before you <think>, monitor: Implementing Flavell's metacognitive framework in LLMs},
author = {Nick Oh},
journal= {arXiv preprint arXiv:2510.16374},
year = {2025}
}
备注
Presented at the Workshop on the Application of LLM Explainability to Reasoning and Planning at COLM 2025 (non-archival)