DISCOVER：通过竞争与剖析使视觉网络可解释
计算机视觉与模式识别
2023-10-10 v1 机器学习
机器学习
摘要
现代深度网络高度复杂，其推理结果极难解释。这是其在安全关键或偏见敏感应用中透明部署的一大障碍。本文致力于事后可解释性，特别是网络剖析（Network Dissection）。我们的目标是提出一个框架，使在视觉任务上训练的网络中每个神经元个体功能的发现更为容易；发现过程以文本描述生成的形式进行。为实现该目标，我们利用：(i) 多模态视觉-文本模型的最新进展，以及 (ii) 基于线性单元间随机局部竞争这一新颖概念构建的网络层。在此设定下，对于给定的输入仅激活层中极少部分神经元，导致极高的激活稀疏性（低至仅约 ）。关键在于，我们提出的方法推断出（稀疏）神经元激活模式，使神经元能够针对具有特定特征的输入进行激活/专门化，从而使其个体功能多样化。该方法的这一能力极大地增强了剖析过程的潜力：仅对极少数活跃神经元生成人类可理解的描述，从而便于直接研究网络的决策过程。如我们的实验所示，我们的方法：(i) 所得视觉网络保持或提升了分类性能，且 (ii) 实现了一个基于文本描述和检验所生成神经元表征的原理性框架。
引用
@article{arxiv.2310.04929,
title = {DISCOVER: Making Vision Networks Interpretable via Competition and Dissection},
author = {Konstantinos P. Panousis and Sotirios Chatzis},
journal= {arXiv preprint arXiv:2310.04929},
year = {2023}
}
备注
Accepted @ NeuIPS 2023