面向视觉模型的自动解释框架

许多视觉模型的开发主要侧重于通过准确率、IoU 和 mAP 等指标提高其性能，对可解释性的关注较少，这源于将 xAI 方法应用于提供有意义的模型解释的复杂性。虽然许多现有的 xAI 方法旨在逐个样本解释视觉模型，但对于解释在大型数据集上运行后才能捕获的视觉模型一般行为的方法仍属underexplored。此外，理解视觉模型在一般图像上的行为非常重要，这有助于防止偏见判断并识别模型的趋势和模式。结合视觉语言模型，本文提出了一个在样本和数据集水平上解释视觉模型的管道。该管道可用于发现失效案例并深入了解视觉模型，需极少的工作量，从而将视觉模型开发与 xAI 分析集成，推进图像分析。