这看起来像那些：利用多重可视化阐明原型概念

我们提出 ProtoConcepts，一种结合深度学习与基于案例推理、使用原型部件的可解释图像分类方法。现有的基于原型的图像分类工作采用“这看起来像那个”的推理过程，即通过寻找原型部件并综合这些原型的证据来剖析测试图像以做出最终分类。然而，所有现有的基于原型部件的图像分类器都仅提供一对一比较，即单个训练图像块作为原型与测试图像的一个部件进行比较。由于这些单图像比较，往往难以辨识所比较的潜在概念（例如“是在比较颜色还是形状？”）。我们提出的方法修改了基于原型的网络架构，转而学习使用多个图像块进行可视化的原型概念。同一原型的多个可视化使我们更容易辨识该原型所捕获的概念（例如“测试图像与相关的训练块均为同一蓝色色调”），并让我们的模型能创建更丰富、更具可解释性的视觉解释。我们的实验表明，我们的“这看起来像那些”推理过程可作为修改应用于广泛的现有原型图像分类网络，同时在基准数据集上取得可比的准确率。