评估集成AI系统的可审计性：一个框架与学习分析案例研究
计算机与社会
2024-11-15 v1 人工智能
摘要
审计有助于增强集成人工智能（AI）的学习分析（LA）系统的可信度，未来可能成为法律要求。我们认为审计的有效性取决于被审计系统的可审计性。因此，系统设计时需考虑可审计性。我们提出了一个评估集成AI系统可审计性的框架，包含三部分：（1）关于系统有效性、实用性和伦理性的可验证声明；（2）不同类型的主体（数据、模型或系统）证据（文档、原始来源和日志）以支持或反驳声明；（3）证据必须通过技术手段（API、监控工具、可解释AI等）供审计员获取。我们将该框架应用于评估Moodle辍学预测系统和一个原型基于AI的LA系统。发现Moodle的可审计性受限于文档不完整、监控能力不足和缺乏可用测试数据。该框架支持评估在用基于AI的LA系统的可审计性，并改进可审计系统的设计，从而改进审计。
引用
@article{arxiv.2411.08906,
title = {Assessing the Auditability of AI-integrating Systems: A Framework and Learning Analytics Case Study},
author = {Linda Fernsel and Yannick Kalff and Katharina Simbeck},
journal= {arXiv preprint arXiv:2411.08906},
year = {2024}
}