GPT是否真的理解了？量化人类与AI对算法理解的层级尺度
人工智能
2025-01-22 v3
摘要
随着大型语言模型(LLMs)执行(并有时出色地)越来越复杂的认知任务，一个自然问题是AI是否真的理解了。理解在LLMs中的研究处于早期阶段，社区尚未纳入哲学、心理学和教育学等领域的成熟研究。我们启动此类工作，具体聚焦于算法理解，提出一种理解水平的层级结构。我们使用该层级结构设计并进行了人类主体(本科生和研究生)以及大型语言模型(GPT各代版本)的研究，揭示了有趣的相似性和差异性。我们期望这些严谨的标准将对跟踪AI在此类认知领域的进展具有用处。
引用
@article{arxiv.2406.14722,
title = {Does GPT Really Get It? A Hierarchical Scale to Quantify Human vs AI's Understanding of Algorithms},
author = {Mirabel Reid and Santosh S. Vempala},
journal= {arXiv preprint arXiv:2406.14722},
year = {2025}
}
备注
13 pages, 10 figures. To be published at AAAI 2025