面向教育中高阶思维任务的 OpenAI o1-Preview 系统性评估
计算机与社会
2024-10-30 v1 人工智能
摘要
随着人工智能 (AI) 的不断发展，它展现出接近人类智能的能力，对教育和职业培训具有重大变革潜力。本研究评估了 OpenAI o1-preview 在 14 个维度上执行高阶认知任务的能力，包括批判性思维、系统思维、计算思维、设计思维、元认知、数据素养、创造性思维、抽象推理、量化推理、逻辑推理、类比推理和科学推理。我们使用 Ennis-Weir 批判性思维论文测试和生物系统思维测试等验证工具，对比 o1-preview 的表现与人类水平。我们的发现表明，o1-preview 在大多数类别中超越人类，在系统思维、计算思维、数据素养、创造性思维、科学推理和抽象推理中取得 150% 的更好成绩。然而，相对于人类，在逻辑推理、批判性思维和量化推理方面表现略低约 25%。在类比推理中，o1-preview 和人类均取得了完美分数。尽管如此，o1-preview 在抽象推理方面仍存在局限，心理学学生们在该领域表现优于它，这凸显了在需要高级抽象能力的任务中人类监督的持续重要性。这些结果具有重大的教育意义，表明应致力于发展与 AI 互补的技能，如创造力、抽象推理和批判性思维。这一研究强调了 AI 在教育中的变革潜力，呼吁重新调整教育目标、教学方法和课程，以适应 AI 时代的世界。
引用
@article{arxiv.2410.21287,
title = {A Systematic Assessment of OpenAI o1-Preview for Higher Order Thinking in Education},
author = {Ehsan Latif and Yifan Zhou and Shuchen Guo and Yizhu Gao and Lehong Shi and Matthew Nayaaba and Gyeonggeon Lee and Liang Zhang and Arne Bewersdorff and Luyang Fang and Xiantong Yang and Huaqin Zhao and Hanqi Jiang and Haoran Lu and Jiaxi Li and Jichao Yu and Weihang You and Zhengliang Liu and Vincent Shung Liu and Hui Wang and Zihao Wu and Jin Lu and Fei Dou and Ping Ma and Ninghao Liu and Tianming Liu and Xiaoming Zhai},
journal= {arXiv preprint arXiv:2410.21287},
year = {2024}
}
备注
An assessment of OpenAI o1-Preview for Higher Order Thinking in Education