GPT-4 Turbo 在生成学校水平问题方面效果如何？——基于布鲁姆修订分类学的评估
计算与语言
2024-06-24 v1 人工智能
摘要
我们评估了 GPT-4 Turbo 在零样本模式下从 NCERT 教科书生成教育问题的效果。我们的研究表明，GPT-4 Turbo 能够生成需要更高阶思维技能的问题，尤其是根据布鲁姆修订分类学（Bloom's Revised Taxonomy）在“理解”水平方面。尽管我们发现 GPT-4 Turbo 生成的问题在复杂性方面与人类评估者所评估的问题之间存在显著一致性，但也存在偶发差异。我们的评估还揭示了人类和机器对问题质量的评估存在差异，呈现出与布鲁姆修订分类学水平呈反比例关系。这些发现表明，尽管 GPT-4 Turbo 是一个有前景的教育问题生成工具，但其在不同认知水平上的效果存在差异，表明需要进一步细化以完全满足教育标准。
引用
@article{arxiv.2406.15211,
title = {How Effective is GPT-4 Turbo in Generating School-Level Questions from Textbooks Based on Bloom's Revised Taxonomy?},
author = {Subhankar Maity and Aniket Deroy and Sudeshna Sarkar},
journal= {arXiv preprint arXiv:2406.15211},
year = {2024}
}
备注
Accepted at Learnersourcing: Student-Generated Content @ Scale 2024