面向场景分类的知识感知神经元解释
计算机视觉与模式识别
2024-01-30 v1 人工智能
摘要
尽管神经模型取得了显著的性能，但由于其不透明性，它们仍然面临质疑。为此，模型预测解释正受到越来越多的关注。然而，当前方法很少结合外部知识，且仍存在三个局限性：（1）忽视概念完整性。仅选择概念可能不足以进行预测。（2）缺乏概念融合。未能合并语义等价的概念。（3）难以操纵模型行为。缺乏对原始模型解释的验证。为了解决这些问题，我们提出了一种新颖的知识感知神经元解释框架，以解释图像场景分类的模型预测。具体而言，为了实现概念完整性，我们基于知识图谱 ConceptNet 提出了场景的核心概念，以衡量概念的完整性。与基线方法相比，我们的方法结合了完整概念，有效地提供了更好的预测解释。此外，为了实现概念融合，我们引入了一种基于知识图谱的方法，称为 Concept Filtering（概念过滤），在神经元行为上为神经元解释带来了超过 23 个百分点的提升。最后，我们提出了 Model Manipulation（模型操纵），旨在研究基于 ConceptNet 的核心概念是否可以用来操纵模型行为。结果表明，核心概念可以有效地将原始模型的性能提升 26% 以上。
引用
@article{arxiv.2401.15820,
title = {Knowledge-Aware Neuron Interpretation for Scene Classification},
author = {Yong Guan and Freddy Lecue and Jiaoyan Chen and Ru Li and Jeff Z. Pan},
journal= {arXiv preprint arXiv:2401.15820},
year = {2024}
}
备注
Accepted to AAAI2024