在数学与科学问题上测试 GPT-4-o1-preview：一项后续研究
计算机与社会
2024-10-31 v1 人工智能
摘要
2023 年 8 月，Scott Aaronson 和我报告了使用 Wolfram Alpha 和 Code Interpreter 插件对 GPT-4 进行测试的结果，测试集包含 105 道原创的高中及大学水平的科学和数学问题（Davis and Aaronson, 2023）。2024 年 9 月，我对最近发布的模型 GPT-4o1-preview 在相同测试集上进行了测试。总体而言，我发现其性能有显著提升，但仍远未达到完美。特别是，涉及空间推理的问题常常成为绊脚石。
引用
@article{arxiv.2410.22340,
title = {Testing GPT-4-o1-preview on math and science problems: A follow-up study},
author = {Ernest Davis},
journal= {arXiv preprint arXiv:2410.22340},
year = {2024}
}