医学图像分类中基于多模态切片发现的系统性失效检测与解释框架
计算机视觉与模式识别
2026-03-02 v1 机器学习
摘要
尽管机器学习基于医学图像的分类器取得了进展，但在实际应用中，这些系统的安全性和可靠性仍是主要关切。现有审计方法主要依赖单模态特征或基于元数据的子组分析，受限于可解释性，往往无法捕捉隐藏的系统性失效。为此，我们引入首个针对医学应用的自动化审计框架，将切片发现方法扩展到多模态表示。我们在使用 MIMIC-CXR-JPG 数据集进行的常见失效情景下的综合实验中，展示了该框架在失效发现和解释生成方面的强大能力。我们的结果还表明，多模态信息通常允许更全面且更有效的分类器审计，而超出仅使用图像输入的单模态变体在资源受限的情境下表现出强大的潜力。
引用
@article{arxiv.2602.24183,
title = {A multimodal slice discovery framework for systematic failure detection and explanation in medical image classification},
author = {Yixuan Liu and Kanwal K. Bhatia and Ahmed E. Fetit},
journal= {arXiv preprint arXiv:2602.24183},
year = {2026}
}