利用基于梯度的可视化方法解释点云深度神经网络
计算机视觉与模式识别
2022-07-27 v1
摘要
解释深度神经网络所做的决策是一个迅速发展的研究课题。近年来，若干方法试图为针对结构化 2D 图像输入数据设计的神经网络决策提供视觉解释。本文中，我们提出一种新方法，为设计用于分类非结构化 3D 数据（即点云）的网络生成粗略的视觉解释。我们的方法利用流回最终特征图层的梯度，并将这些值映射为输入点云中对应点的贡献。由于输入点与最终特征图之间的维度不一致及空间一致性的缺乏，我们的方法将梯度与点丢弃相结合，以迭代方式计算点云不同部分的解释。我们方法的一般性在多种点云分类网络上进行了测试，包括“单物体”网络 PointNet、PointNet++、DGCNN，以及“场景”网络 VoteNet。我们的方法生成对称解释图，突出重要区域并洞察网络架构的决策过程。我们通过定量、定性及人类研究，针对对比方法对我们的解释方法的信任度与可解释性进行了详尽评估。我们的所有代码均基于 PyTorch 实现，并将公开提供。
引用
@article{arxiv.2207.12984,
title = {Explaining Deep Neural Networks for Point Clouds using Gradient-based Visualisations},
author = {Jawad Tayyub and Muhammad Sarmad and Nicolas Schönborn},
journal= {arXiv preprint arXiv:2207.12984},
year = {2022}
}