AttributionScanner：一种基于无元数据切片发现的模型验证可视化分析系统
计算机视觉与模式识别
2025-02-19 v4 人机交互
摘要
数据切片发现是一种新兴的机器学习（ML）模型验证技术，它通过识别和分析数据集中表现不佳的子群来进行验证，这些子群通常具有独特的特征集或描述性元数据。然而，在验证涉及非结构化图像数据的视觉模型时，这种方法面临重大挑战，包括需要额外元数据这一繁琐且昂贵的步骤，以及解释性能不佳根本原因的复杂任务。为了应对这些挑战，我们引入了 AttributionScanner，这是一个创新的人在回路可视化分析（VA）系统，专为无元数据的数据切片发现而设计。我们的系统识别涉及常见模型行为的可解释数据切片，并通过归因马赛克设计将这些模式可视化。我们的交互式界面为用户提供了直观的指导，使其能够以极少的精力检测、解释和标注主要的模型问题，例如虚假相关性（模型偏差）和错误标记的数据。此外，它采用了一种前沿的模型正则化技术来缓解检测到的问题并提升模型性能。通过涉及两个基准数据集的用例，展示了 AttributionScanner 的有效性，定性和定量评估表明其在视觉模型验证中具有显著效果，最终带来更可靠和准确的模型。
引用
@article{arxiv.2401.06462,
title = {AttributionScanner: A Visual Analytics System for Model Validation with Metadata-Free Slice Finding},
author = {Xiwei Xuan and Jorge Piazentin Ono and Liang Gou and Kwan-Liu Ma and Liu Ren},
journal= {arXiv preprint arXiv:2401.06462},
year = {2025}
}