SUBPLEX：在子群体层面更好地理解黑盒模型解释
人机交互
2024-05-07 v2
摘要
在做出具有社会影响的决策（如交通控制、金融活动和医疗诊断）时，理解机器学习（ML）模型的解释至关重要。当前模型解释方法侧重于使用局部线性函数近似模型或创建对每输入实例给出解释的自解释模型，却不关注子群体层面的模型解释，即对数据集中不同子集聚合间模型解释的理解。为应对在整个数据集上提供ML模型解释的挑战，我们提出SUBPLEX，一个通过子群体可视化分析帮助用户理解黑盒模型解释的可视分析系统。SUBPLEX通过与时机器学习研究者的迭代设计过程而设计，以解决真实机器学习任务的三种使用场景：模型调试、特征选择和偏差检测。该系统对ML模型解释应用新颖的子群体分析，并通过交互式可视化在不同粒度上探索数据集上的解释。基于该系统，我们进行用户评估，以考察子群体层面的解释理解如何从用户视角影响ML模型解释的意义建构过程。我们的结果表明，通过为不同数据组提供模型解释，SUBPLEX鼓励用户产生更多巧妙想法以丰富解释。它还帮助用户实现编程工作流与可视分析工作流的紧密集成。最后，我们总结了在将可视化应用于机器学习解释时所观察到的考量。
引用
@article{arxiv.2007.10609,
title = {SUBPLEX: Towards a Better Understanding of Black Box Model Explanations at the Subpopulation Level},
author = {Jun Yuan and Gromit Yeuk-Yin Chan and Brian Barr and Kyle Overton and Kim Rees and Luis Gustavo Nonato and Enrico Bertini and Claudio T. Silva},
journal= {arXiv preprint arXiv:2007.10609},
year = {2024}
}