基于时空概念的三维卷积网络解释方法
计算机视觉与模式识别
2022-06-14 v1 人工智能
摘要
近期的研究在解释2D图像识别卷积网络方面取得了卓越成功。另一方面，由于视频数据的计算成本与复杂性，对3D视频识别卷积网络的解释研究相对较少。本文提出一种用于解释3D卷积网络的3D ACE（Automatic Concept-based Explanation，基于概念的自动解释）框架。在我们的方法中：（1）视频由高层超体素表示，便于人类直观理解；（2）解释框架为每个体素估计一个分数，反映其在决策过程中的重要性。实验表明，我们的方法能够发现不同重要层级的时空概念，从而可深入探究这些概念对动作分类等目标任务的影响。代码已公开。
引用
@article{arxiv.2206.05275,
title = {Spatial-temporal Concept based Explanation of 3D ConvNets},
author = {Ying Ji and Yu Wang and Kensaku Mori and Jien Kato},
journal= {arXiv preprint arXiv:2206.05275},
year = {2022}
}