视觉概念连接体（VCC）：深度模型中的开放世界概念发现及其层间连接
计算机视觉与模式识别
2024-04-11 v2
摘要
理解深度网络模型在其学习表示中捕获了什么，是计算机视觉中的一项基本挑战。我们提出了一种理解此类视觉模型的新方法，即视觉概念连接体（Visual Concept Connectome, VCC），它以完全无监督的方式发现人类可解释的概念及其层间连接。我们的方法同时揭示了某一层中的细粒度概念、跨所有层的连接权重，并适用于网络结构的全局分析（例如，分层概念组件的分支模式）。先前的工作提供了从单层提取可解释概念并检查其对分类影响的方法，但无法在整个网络架构中进行多层概念分析。定量和定性的实证结果展示了 VCC 在图像分类领域的有效性。此外，我们利用 VCC 进行故障模式调试应用，以揭示深度网络中出现错误的位置。
引用
@article{arxiv.2404.02233,
title = {Visual Concept Connectome (VCC): Open World Concept Discovery and their Interlayer Connections in Deep Models},
author = {Matthew Kowal and Richard P. Wildes and Konstantinos G. Derpanis},
journal= {arXiv preprint arXiv:2404.02233},
year = {2024}
}
备注
CVPR 2024 (Highlight)