特征可视化在多大程度上支持对 CNN 激活的因果理解？

精确理解人工网络中的单元为何对某些刺激产生响应，将是迈向可解释人工智能的一大步。实现这一目标的一种广泛使用的方法是通过激活最大化来可视化单元响应。这些合成的特征可视化据称能为人类提供关于引起单元激活的图像特征的精确信息——这优于其他替代方法（如强激活的自然数据集样本）。如果人类确实从可视化中获得因果洞察，那么这应能使他们预测干预的效果，例如遮挡图像的某个块（比如狗的头）会如何改变单元的激活。在此，我们通过让人类判断两个方形遮挡中哪一个导致单元激活发生更大变化来检验这一假设。大规模众包实验和专家测量的结果均表明，平均而言，Olah 等人（2017）的极高激活特征可视化确实在此任务上对人类有帮助（准确率为 $68 \pm 4$%；无任何可视化时的基线表现为 $60 \pm 3$%）。然而，它们相对于其他可视化（例如数据集样本）并未提供实质性优势，后者取得了相似的性能（准确率 $66\pm3$% 至 $67 \pm3$%）。综上，我们提出了一种客观的 psychophysical 任务来量化单元级可解释性方法对人类的益处，并且未发现广泛使用的特征可视化方法比简单的替代可视化能为人类提供更好的单元激活“因果理解”的证据。