AI 能否进行批判性思考？评估生成式人工智能思考质量的框架
人工智能
2024-06-24 v1
摘要
具有生成式人工智能能力的模型（如大语言模型）正在创造出创新性评估设计实践的机遇。鉴于最近的技术发展，亟需了解生成式人工智能在模拟认知技能方面的局限性与能力。评估学生的批判性思维技能是评估史上长期以来的特征，但数字化评估的需求为公平性、学术诚信和评估编写带来了独特挑战。教育者需要一种框架来确定其评估措施对生成式人工智能的脆弱性，以便为评估设计实践提供指导。本文提出了一种框架，探讨了当前行业基准——ChatGPT4 模型的能力。本文提出了“问题映射、AI 脆弱性测试、评分、评估”（MAGE）框架，以系统地批判其在所属学科语境下的评估措施。这种批判将提供其问题在批判性思维技能方面的具体且有针对性的脆弱性指示。这可以进一步成为其任务评估设计的基础。
引用
@article{arxiv.2406.14769,
title = {How critically can an AI think? A framework for evaluating the quality of thinking of generative artificial intelligence},
author = {Luke Zaphir and Jason M. Lodge and Jacinta Lisec and Dom McGrath and Hassan Khosravi},
journal= {arXiv preprint arXiv:2406.14769},
year = {2024}
}