生成式 AI 作为元认知智能体：基于人类参与者的 ICF 模拟考试成绩比较混合方法研究
人机交互
2024-05-10 v1 人工智能
摘要
本研究在国际教练联合会 (ICF) 模拟考试的情境下，探讨了大型语言模型 (LLM) 相对于人类元认知的元认知能力，该考试是一项与教练能力相关的情境判断测试。采用混合研究方法，我们评估了人类参与者与五个先进 LLM (GPT-4、Claude-3-Opus 3、Mistral Large、Llama 3 和 Gemini 1.5 Pro) 的元认知表现，包括敏感性、概率预测的准确性以及偏差。结果表明，LLM 在所有元认知指标上均优于人类，尤其是与人类相比减少了过度自信。然而，LLM 和人类在模糊情境中均表现出较低的适应性，严格遵循预定义的决策框架。研究表明，生成式 AI 能够在无意识觉察的情况下有效地进行类人的元认知处理。本文讨论了该研究对开发 AI 模拟器的启示，这些模拟器能够为掌握教练能力的认知和元认知方面提供支架。更广泛地，本文还讨论了这些结果对开发元认知模块的启示，以推动向更自主、更直观的 AI 系统发展。
引用
@article{arxiv.2405.05285,
title = {Generative AI as a metacognitive agent: A comparative mixed-method study with human participants on ICF-mimicking exam performance},
author = {Jelena Pavlovic and Jugoslav Krstic and Luka Mitrovic and Djordje Babic and Adrijana Milosavljevic and Milena Nikolic and Tijana Karaklic and Tijana Mitrovic},
journal= {arXiv preprint arXiv:2405.05285},
year = {2024}
}