基于博弈论视角的误分类理解

本文从博弈论视角分析了各类图像误分类现象。具体而言，我们考虑干净图像、对抗图像和 corrupted 图像的误分类，并通过多阶交互作用分布来刻画其特征。我们发现，多阶交互作用的分布因误分类类型而异。例如，被误分类的对抗图像比被正确分类的干净图像具有更高的高阶交互强度，这表明对抗扰动产生了源于像素间复杂协作的伪特征。相比之下，被误分类的 corrupted 图像比被正确分类的干净图像具有更低低阶交互强度，这表明 corruptions 破坏了像素间的局部协作。我们还首次使用交互作用对 Vision Transformers 进行了分析。我们发现 Vision Transformers 在交互作用分布上表现出与 CNNs 不同的趋势，这意味着它们利用了 CNNs 未用于预测的特征。我们的研究表明，近期对深度学习模型的博弈论分析可拓展至分析包括 Vision Transformers 在内的深度学习模型各类故障，所用依据为交互作用的分布、阶数与符号。