面向负责任的人工智能以实现测试公平性与质量：基于Duolingo English Test的案例研究
计算机与社会
2024-09-13 v1 人工智能
计算与语言
摘要
人工智能（AI）为评估提供了机会，例如在项目生成和口头/书面响应的评分方面的效率。然而，它也带来了风险（例如AI生成项目内容中的偏见）。负责任的人工智能（RAI）实践旨在缓解与AI相关的风险。本章节阐述了RAI实践在实现测试质量（测试得分推断的合适性）和测试公平性（对所有考生的公平性）中的关键作用。为此，本章节采用Duolingo English Test（DET），一种由AI驱动的高风险英语语言评估，进行案例研究。本章讨论了DET的RAI标准、其开发过程以及其与领域无关RAI原则的关系。此外，本章提供了具体RAI实践的示例，展示了这些实践如何有力地解决有效性与可靠性、公平性、隐私与安全、透明度与问责制等伦理原则，以确保测试公平性与质量。
引用
@article{arxiv.2409.07476,
title = {Responsible AI for Test Equity and Quality: The Duolingo English Test as a Case Study},
author = {Jill Burstein and Geoffrey T. LaFlair and Kevin Yancey and Alina A. von Davier and Ravit Dotan},
journal= {arXiv preprint arXiv:2409.07476},
year = {2024}
}