联结心理测量与内容开发实践之 AI：面向夏威夷语言评估的社区驱动工作流程
人机交互
2025-12-22 v1 计算机与社会
摘要
本文提出并评估了一种为夏威夷语言教育成果评估 (K\=A'EO) 项目设计和评估的社区驱动人工智能 (AI) 工作流程。该项目探讨了面向文档 grounding 的语言模型是否能够在保持夏威夷语言文化和语言完整性的前提下，伦理且有效地增强人类对项目表现的分析。该工作遵循 K\=A'EO AI 政策框架，利用 NotebookLM 进行心理测量数据跨文档综合，并使用 Claude 3.5 Sonnet 进行开发者层面的解释，始终由人类进行监督。于第二轮 AI 实验室期间，审阅了跨夏威夷语言艺术、数学和科学的 58 个标记项目，产生了六份解释性报告，识别出语言模糊、深度知识 (DOK) 偏差以及结构超载等系统性设计问题。研究结果表明，AI 可作为伦理受限的人类专家知识的放大器，在加速分析的同时优先考虑公平性、人类专家知识和文化权威。本工作为在土著语言教育测量中负责任地集成 AI 提供了可复制的模型。
引用
@article{arxiv.2512.17140,
title = {Bridging Psychometric and Content Development Practices with AI: A Community-Based Workflow for Augmenting Hawaiian Language Assessments},
author = {Pōhai Kūkea-Shultz and Frank Brockmann},
journal= {arXiv preprint arXiv:2512.17140},
year = {2025}
}
备注
11 pages, 1 figure. Earlier version posted on OSF/EdArXiv: 10.35542/osf.io/cr7va_v1