基于临床医生评估的AI可解释性研究
人机交互
2025-08-12 v2
摘要
开发了一个基于三个核心原则——可理解性、可信赖性和可用性——的AI设计框架。该框架通过整合文献证据并咨询专家意见而概念化。对AI可解释性框架的初始版本进行了基于深入专家参与和审查的验证。为了进行评估,我们构建并部署了一个结合了新型可解释性功能的AI原型。该原型的主要功能是预测产后抑郁风险。该原型的开发是在一次先行的形式化评估之后进行的迭代开发,随后进行了修订和总结性评估。开发了系统可解释性量表(SES)来衡量AI可解释性框架三个维度的影响。对于总结阶段,针对20名临床医生进行了全面的可用性测试,并使用SES量表来评估临床医生对该工具的满意度。在5分制评分中,该工具在可用性维度上获得了最高分,随后是可信赖性和可理解性。平均可解释性得分为4.56。在可理解性、可信赖性和可用性方面的平均得分分别为4.51、4.53和4.71。总体而言,13项的SES量表显示出强大的内部一致性,Cronbach's alpha为0.84,且复合SES得分与可解释性之间的正相关系数(Spearman's rho=0.81,p<0.001)。一个主要发现是,该框架结合SES可用性量表,为开发降低AI工具可解释性挑战的医疗保健工具提供了 straightforward 方法。
引用
@article{arxiv.2503.16920,
title = {Assessing AI Explainability: A Usability Study Using a Novel Framework Involving Clinicians},
author = {Mohammad Golam Kibria and Lauren Kucirka and Javed Mostafa},
journal= {arXiv preprint arXiv:2503.16920},
year = {2025}
}
备注
10 pages, 4 figures, Accepted to the 13th IEEE International Conference on Healthcare Informatics (IEEE ICHI 2025)