ChatGPT在标准化考试中的表现——一种面向学习者的策略建议
计算机与社会
2023-09-27 v1 计算与语言
摘要
本研究探讨了ChatGPT的问题求解能力及其在标准化考试备考中的潜在应用,聚焦于GRE定量考试。先前研究已显示出ChatGPT在学术用途上的巨大潜力,可革新各学科的学习方式。我们调查了ChatGPT在GRE定量领域各类题型上的表现,以及修改问题提示如何影响其准确率。更具体地,本研究解决了两个研究问题:1. ChatGPT在回答跨不同内容领域的GRE定量问题时表现如何? 2. ChatGPT的准确率如何随问题提示的修改而变化? 数据集由从ETS官方GRE考试准备指南中随机抽取的100道GRE定量问题组成。我们使用定量评估回答第一个研究问题,并使用t检验考察提示修改与ChatGPT准确率间的统计关联。结果显示,在对原始问题应用指令 priming 与上下文提示后,ChatGPT准确率有统计显著性提升。经修改提示后ChatGPT准确率为84%,而原始数据下为69%。本研究讨论了ChatGPT在部分问题上遭遇困难之处,以及修改如何有助于备考GRE等标准化测试,并给出了提示修改的未来方向。
引用
@article{arxiv.2309.14519,
title = {ChatGPT Performance on Standardized Testing Exam -- A Proposed Strategy for Learners},
author = {Umer Farooq and Saira Anwar},
journal= {arXiv preprint arXiv:2309.14519},
year = {2023}
}