用高置信度反事实解释低感知模型能力不足

已有许多方法用于解释图像分类模型生成决策的方式，但极少有工作探索解释分类器为何缺乏对预测的信心的方法。由于分类器可能失去信心的原因多种多样，因此对于该模型而言，不仅要指示其不确定性水平，还要解释其为何不确定是有价值的。反事实图像已被用于可视化可能对图像进行的更改以生成不同的分类决策。在本工作中，我们探索使用反事实图像为低模型能力不足提供解释——这是一种衡量置信度的通用形式的预测不确定性。为此，我们开发了五种新颖的生成高置信度反事实图像的方法，称为图像梯度下降（IGD）、特征梯度下降（FGD）、自动编码器重构（Reco）、潜在梯度下降（LGD）和潜在最近邻（LNN）。我们在包含六种已知低模型能力不足原因的数据集上评估这些方法，并发现Reco、LGD和LNN是最具前景的反事实生成方法。我们进一步评估了这三种方法如何被用于预训练的多模态大语言模型（MLLM）生成低模型能力不足的语言解释。我们发现，在语言模型查询中包含反事实图像会显著提高模型生成低模型能力不足原因准确解释的能力，从而展示了反事实图像在解释低感知模型能力不足方面的实用性。