基于 CEAT 框架的 AI 生成教育内容偏见自动评估方法
计算与语言
2025-05-20 v1 人机交互
摘要
生成式人工智能（GenAI）的近期进展已深刻改变教育内容的创建方式，尤其是在开发教练训练材料方面。然而，AI 生成内容中嵌入的偏见——如性别、种族或民族刻板印象——引发了重大的伦理和教育关注。尽管 GenAI 的使用日益增多，但系统性地检测和评估此类偏见的方法仍有限。本研究提出一种自动化偏见评估方法，将情境化嵌入关联测试（CEAT）与提示工程词汇提取方法集成于检索增强生成（RAG）框架中。我们将该方法应用于教练训练课堂中使用的 AI 生成文本。结果表明，自动化方法与人工筛选的词汇集合高度一致，皮尔逊相关系数为 r = 0.993，表明该方法在偏见评估方面可靠且一致。该方法减少了人类主观性，提升了公平性、可扩展性和可重复性，以审计 GenAI 生成的教育内容。
引用
@article{arxiv.2505.12718,
title = {Automated Bias Assessment in AI-Generated Educational Content Using CEAT Framework},
author = {Jingyang Peng and Wenyuan Shen and Jiarui Rao and Jionghao Lin},
journal= {arXiv preprint arXiv:2505.12718},
year = {2025}
}
备注
Accepted by AIED 2025: Late-Breaking Results (LBR) Track