范例自然图像比最先进的特征可视化更能解释 CNN 激活

诸如合成最大激活图像之类的特征可视化是一种被广泛使用的解释方法，用于更好地理解卷积神经网络（CNNs）的信息处理过程。与此同时，有人担忧这些可视化可能并不能准确表征 CNN 的内部工作机制。在此，我们测量了极高激活图像在多大程度上帮助人类预测 CNN 的激活。采用一个控制良好的心理物理学范式，我们将 Olah 等人（2017）提出的合成图像的信息量与一个简单的基线可视化方法——即同样强烈激活特定特征图的范例自然图像——进行了比较。给定合成或自然参考图像后，人类参与者需选择两张查询图像中哪一张会导致强正激活。实验设计旨在最大化参与者的表现，并且首次探究了中间层而非最终层的表征。我们发现合成图像确实提供了关于特征图激活的有用信息（准确率 $82\pm4\%$；随机水平为 $50\%$）。然而，原本作为基线的自然图像以较大优势超越了合成图像（$92\pm2\%$）。此外，参与者对自然图像的响应更快且更有信心，而关于特征可视化可解释性的主观印象则褒贬不一。自然图像更高的信息量在大多数层中均成立，无论对专家还是外行参与者，以及对手工挑选和随机挑选的特征可视化均如此。即便仅给出单张参考图像，合成图像提供的信息也少于自然图像（$65\pm5\%$ 对比 $73\pm4\%$）。总之，一种流行特征可视化方法生成的合成图像在评估 CNN 激活方面的信息量显著低于自然图像。我们认为可视化方法应当超越这一基线。