面向比较本地解释的拓扑驱动可视化分析工具 MOUNTAINEER

随着黑箱机器学习（ML）技术在关键领域的应用增长，迫切需要提供方法以实现模型预测的透明度和可解释性。因此，已开发出大量用于黑箱模型的局部可解释性方法并得到推广。然而，由于机器学习解释的高维度、异构表示、规模差异以及某些方法的随机性，仍难以评估和比较这些解释。拓扑数据分析（TDA）在此领域可以是有效方法，因为它可用于将归因转换为统一的图表示，为不同解释方法之间提供 common ground。我们提出一种新型拓扑驱动可视化分析工具 Mountaineer，允许 ML 实践者通过将拓扑图链接回原始数据分布、模型预测和特征归因，交互式地分析和比较这些表示。Mountaineer 促进了对 ML 解释的快速迭代探索，使专家能够深入了解解释技术，理解底层数据分布，从而得出关于模型行为的有根据的结论。此外，我们通过两个实际数据案例研究展示了 Mountaineer 的实用性。在第一个案例中，我们展示了 Mountaineer如何使我们能够比较黑箱 ML 解释，辨认出不同解释之间存在不一致的区域和原因。在第二个案例中，我们演示了该工具如何用于比较和理解 ML 模型本身。最后，我们对三位行业专家进行访谈，以帮助评估我们的工作。