揭示 CNN 内部相似语义：基于概念的特征空间可解释比较
计算机视觉与模式识别
2023-06-28 v2 人工智能
机器学习
摘要
安全关键应用需要人工智能(AI)组件的透明性，但广泛用于感知任务的卷积神经网络(CNN)缺乏内在可解释性。因此，对 CNN 所学内容的洞察主要基于性能指标，因其允许例如跨架构 CNN 比较。然而，这些忽略了知识在内部如何存储。为解决这一尚未解决的问题，我们的工作提出两种方法用于估计 CNN 潜空间内语义信息的逐层相似性。这些可洞察 CNN 层内语义信息的流动与相似性，以及不同网络架构间其相似程度。作为基础，我们使用两种知名的可解释人工智能(XAI)技术，用以获取概念激活向量，即潜空间中的全局向量表示。这些在测试输入上的激活被加以比较。当应用于三种不同目标检测器与两个数据集时，我们的方法揭示：(1) 无论 CNN 架构如何，均学习到相似语义概念；(2) 相似概念出现在相似的相对层深度，与总层数无关。最后，我们的方法朝语义模型可比性与理解不同 CNN 如何处理语义信息迈出了有前景的一步。
引用
@article{arxiv.2305.07663,
title = {Revealing Similar Semantics Inside CNNs: An Interpretable Concept-based Comparison of Feature Spaces},
author = {Georgii Mikriukov and Gesina Schwalbe and Christian Hellert and Korinna Bade},
journal= {arXiv preprint arXiv:2305.07663},
year = {2023}
}