VS-CAM：用于解释视觉图神经网络的顶点语义类激活映射
计算机视觉与模式识别
2022-09-20 v1 人工智能
机器学习
摘要
图卷积神经网络（GCN）已引起越来越多的关注，并在各种计算机视觉任务中取得了良好性能，然而，缺乏对 GCN 内部机制的清晰解释。对于标准卷积神经网络（CNN），类激活映射（CAM）方法通常通过生成热力图来可视化 CNN 决策与图像区域之间的关联。尽管如此，当将这些 CAM 直接应用于 GCN 时，此类热力图通常表现出语义混乱。在本文中，我们提出了一种特别适用于 GCN 的新可视化方法——顶点语义类激活映射（VS-CAM）。VS-CAM 包含两条独立的流水线，分别生成一组语义探测图和一张语义基图。语义探测图用于从语义基图中检测语义信息，以聚合出语义感知热力图。定性结果表明，VS-CAM 能获得高亮区域比基于 CNN 的 CAM 更精确匹配物体的热力图。定量评估进一步证明了 VS-CAM 的优越性。
引用
@article{arxiv.2209.09104,
title = {VS-CAM: Vertex Semantic Class Activation Mapping to Interpret Vision Graph Neural Network},
author = {Zhenpeng Feng and Xiyang Cui and Hongbing Ji and Mingzhe Zhu and Ljubisa Stankovic},
journal= {arXiv preprint arXiv:2209.09104},
year = {2022}
}
备注
10 pages, 10 figures