生成式AI的认知缺陷与发展进展：时钟绘图测试分析
人工智能
2024-10-16 v1
摘要
生成式AI的快速发展引发对其认知能力的关注，尤其是由于其在语言理解和代码生成等任务中的能力。本研究探讨了几款最新GenAI模型在钟绘图测试(CDT)——一种神经心理学评估视觉空间规划和组织能力的工具——中的表现。虽然模型会绘制类似钟表的图画，但在准确表示时间方面存在困难，表现出类似轻度-严重认知障碍(Wechsler, 2009)的缺陷。错误包括数值序列问题、错误的时间表示以及无关的添加，尽管钟表特征的绘制是准确的。只有GPT-4 Turbo和Gemini Pro 1.5 produced出正确的时间，得分类似健康个体(4/4)。随后的时钟阅读测试显示，只有Sonnet 3.5成功，表明绘图缺陷源于对数值概念的困难。这些发现可能反映出视觉-空间理解、工作记忆或计算方面的弱点，突显了在学习知识方面的优势与推理方面的弱点。比较人类与机器的表现对于理解AI的认知能力至关重要，并指导其发展趋向类人认知功能。
引用
@article{arxiv.2410.11756,
title = {Evidence of Cognitive Deficits andDevelopmental Advances in Generative AI: A Clock Drawing Test Analysis},
author = {Isaac R. Galatzer-Levy and Jed McGiffin and David Munday and Xin Liu and Danny Karmon and Ilia Labzovsky and Rivka Moroshko and Amir Zait and Daniel McDuff},
journal= {arXiv preprint arXiv:2410.11756},
year = {2024}
}