深度视觉显著性模型的可解释性推导
计算机视觉与模式识别
2021-09-09 v1 机器学习
摘要
深度神经网络在视觉显著性预测中达到人类水平性能方面已展现出深远影响。然而，它们如何学习该任务以及这对理解人类视觉系统意味着什么仍不清楚。在这项工作中，我们基于人类感知理论与显著性的传统概念，开发了一种技术，从相应的深度神经架构显著性模型推导出可解释的显著性模型。该技术通过激活图帮助我们理解深度网络在其中间层的学习模式。最初，我们考虑两个最先进的深度显著性模型，即 UNISAL 和 MSI-Net 用于我们的解释。我们使用一组生物学上合理的 log-gabor 滤波器，通过我们的可解释显著性模型识别并重建它们的激活图。最终的显著性图由这些重建的激活图生成。我们还构建了自己的深度显著性模型，名为基于交叉拼接多尺度残差块的网络（CMRNet）用于显著性预测。然后，我们在三个基准数据集上评估并比较从 UNISAL、MSI-Net 和 CMRNet 衍生的可解释模型与其他最先进方法的性能。因此，我们提出这种可解释性方法可应用于任何深度视觉显著性模型进行解释，使其具有通用性。
引用
@article{arxiv.2109.03575,
title = {Deriving Explanation of Deep Visual Saliency Models},
author = {Sai Phani Kumar Malladi and Jayanta Mukhopadhyay and Chaker Larabi and Santanu Chaudhury},
journal= {arXiv preprint arXiv:2109.03575},
year = {2021}
}