理解 CNN：用可逆神经网络解释深度表示及其不变性
计算机视觉与模式识别
2020-08-06 v1
摘要
为应对日益复杂的任务，神经网络学习抽象表示已成为一项必备能力。这些特定于任务的表示，尤其是其所捕获的不变性，使神经网络沦为缺乏可解释性的黑箱模型。因此，要打开此类黑箱，关键在于揭示模型所学到的不同语义概念，以及其学到具有不变性的那些概念。我们提出一种基于可逆神经网络（INN）的方法，其（i）通过解耦数据中剩余的变化因子来恢复特定于任务的所学不变性，且（ii）将这些恢复出的不变性与模型表示可逆地变换为一个具有可访问语义概念的、同样具表达力的表示。因此，神经网络表示变得可理解，因为提供了以下手段以（i）揭示其语义含义，（ii）对表示进行语义修改，以及（iii）可视化单个所学语义概念与不变性。我们的可逆方法显著增强了对黑箱模型的理解能力，能够对最先进网络进行事后解释而不损害其性能。我们的实现见 https://compvis.github.io/invariances/ 。
引用
@article{arxiv.2008.01777,
title = {Making Sense of CNNs: Interpreting Deep Representations & Their Invariances with INNs},
author = {Robin Rombach and Patrick Esser and Björn Ommer},
journal= {arXiv preprint arXiv:2008.01777},
year = {2020}
}
备注
ECCV 2020. Project page and code at https://compvis.github.io/invariances/