VISLIX：一个通过切片发现与分析验证视觉模型的可解释人工智能框架
计算机视觉与模式识别
2025-05-07 v1 人工智能
人机交互
摘要
现实世界的机器学习模型在部署前需要严格的评估，尤其是在自动驾驶和监控等安全关键领域。机器学习模型的评估通常关注数据切片，即共享一组特征的数据子集。数据切片发现能自动识别模型表现不佳的条件或数据子组，帮助开发者缓解性能问题。尽管数据切片方法流行且有效，但用于视觉模型验证的数据切片面临若干挑战。首先，数据切片通常需要额外的图像元数据或视觉概念，并且在某些计算机视觉任务（如目标检测）中有所不足。其次，理解数据切片是一个劳动密集且耗费脑力的过程，严重依赖专家的领域知识。第三，数据切片缺乏一种人在回路中的解决方案，允许专家形成假设并进行交互式测试。为了克服这些限制并更好地支持机器学习运维生命周期，我们引入了 VISLIX，这是一个新颖的可视化分析框架，它采用最先进的基础模型来帮助领域专家分析计算机视觉模型中的数据切片。我们的方法不需要图像元数据或视觉概念，能自动生成自然语言洞察，并允许用户交互式地测试数据切片假设。我们通过一项专家研究和三个用例评估了 VISLIX，证明了我们的工具在为验证目标检测模型提供全面洞察方面的有效性。
引用
@article{arxiv.2505.03132,
title = {VISLIX: An XAI Framework for Validating Vision Models with Slice Discovery and Analysis},
author = {Xinyuan Yan and Xiwei Xuan and Jorge Piazentin Ono and Jiajing Guo and Vikram Mohanty and Shekar Arvind Kumar and Liang Gou and Bei Wang and Liu Ren},
journal= {arXiv preprint arXiv:2505.03132},
year = {2025}
}