面向人的可解释人工智能：基于用户的评估与实证研究
人工智能
2024-10-22 v1 机器学习
摘要
本研究位于以人为本的人工智能（HCAI）领域，聚焦于对常用可解释人工智能（XAI）算法的用户中心评估，具体探讨人类如何理解与与这些算法提供的解释进行交互。为实现此目标，我们采用跨学科方法，引入社会科学的前沿研究方法，衡量基于梯度提升分类器（XGBClassifier）构建的机器学习模型生成的解释的易懂性。我们开展了大规模的用户研究，访谈了39名来自三个不同群体的参与者，每个群体对数据科学、数据可视化及与模型训练数据集相关的领域知识具有不同程度的专业背景。参与者被要求回答一系列问题，以评估他们对模型解释的理解程度。为确保可复制性，我们使用来自加州大学欧文分校机器学习仓库的公开数据集构建模型，研究对象为可食用与不可食用蘑菇的分类问题。我们的发现揭示了现有XAI方法的局限性，并确认了针对不同AI利益相关者类群的特定信息需求与用户视角，亟需新的设计原则与评估技术。我们认为，本研究的结果与我们所发展的跨学科方法论，能够成功应用于各种数据类型与用户画像，从而推动HCAI研究的对话与机遇。为支持这一目标，我们将公开本研究产生的数据。
引用
@article{arxiv.2410.15952,
title = {User-centric evaluation of explainability of AI with and for humans: a comprehensive empirical study},
author = {Szymon Bobek and Paloma Korycińska and Monika Krakowska and Maciej Mozolewski and Dorota Rak and Magdalena Zych and Magdalena Wójcik and Grzegorz J. Nalepa},
journal= {arXiv preprint arXiv:2410.15952},
year = {2024}
}