ScatterUQ：面向多分类深度学习问题的交互式不确定性可视化
机器学习
2024-05-10 v2 人机交互
摘要
近年来，针对多分类标注问题已开发出具有不确定性感知的深度学习方法来提供经过校准的类别预测概率和分布外（OOD）指示，使机器学习（ML）使用者和工程师能够衡量模型对其预测的信心。然而，在多种不确定性情境下，针对任意数据源可扩展地以视觉方式传达这些额外的神经网络预测信息具有挑战性。为应对这些挑战，我们提出 ScatterUQ，一个提供针对性可视化的交互式系统，让用户能更好地理解模型在情境驱动的不确定性设置下的性能。ScatterUQ 利用距离感知神经网络的最新进展以及降维技术，构建稳健的二维散点图，解释模型为何将测试样本预测为（1）分布内且属于特定类别，（2）分布内但不确定类别，以及（3）分布外。ML 使用者和工程师可通过“悬停回调”将测试样本的显著特征与训练样本进行视觉比较，以理解模型不确定性性能并决定后续行动。我们展示了 ScatterUQ 在 Fashion-MNIST 上训练、在 Fashion-MNIST（分布内）和 MNIST 数字（分布外）上测试的距离感知神经网络多分类图像分类，以及一个网络数据集深度学习模型上解释模型不确定性的有效性。我们定量评估了降维技术以优化我们情境驱动的 UQ 可视化。结果表明 ScatterUQ 系统应可扩展到任意多分类数据集。我们的代码可在 https://github.com/mit-ll-responsible-ai/equine-webapp 获取。
引用
@article{arxiv.2308.04588,
title = {ScatterUQ: Interactive Uncertainty Visualizations for Multiclass Deep Learning Problems},
author = {Harry Li and Steven Jorgensen and John Holodnak and Allan Wollaber},
journal= {arXiv preprint arXiv:2308.04588},
year = {2024}
}
备注
5 pages, 4 figures, accepted to IEEE VIS 2023