解释与改进：面向图像描述模型的 LRP-推理微调
计算机视觉与模式识别
2021-08-03 v5 计算与语言
机器学习
摘要
本文分析了具有注意力机制的图像描述模型的预测，超越了仅可视化注意力本身。我们开发了层间相关性传播（LRP）与基于梯度的解释方法的变体，专为具有注意力机制的图像描述模型定制。我们系统地将注意力热图的可解释性与 LRP、Grad-CAM 和 Guided Grad-CAM 等解释方法提供的解释进行比较。我们表明，解释方法对预测描述中的每个词同时提供像素级图像解释（输入图像的支持与反对像素）和语言解释（前文序列的支持与反对词）。我们通过大量实验证明：解释方法 1）相比注意力能揭示模型决策所用的额外证据；2）与物体位置高度相关；3）有助于“调试”模型，例如通过分析幻觉物体词的原因。利用所观测到的解释性质，我们进一步设计了一种 LRP-推理微调策略，减少了图像描述模型中的物体幻觉问题，同时保持了句子流畅性。我们使用两种广泛使用的注意力机制进行实验：通过加性注意力计算的自适应注意力机制，以及通过缩放点积计算的多头注意力机制。
引用
@article{arxiv.2001.01037,
title = {Explain and Improve: LRP-Inference Fine-Tuning for Image Captioning Models},
author = {Jiamei Sun and Sebastian Lapuschkin and Wojciech Samek and Alexander Binder},
journal= {arXiv preprint arXiv:2001.01037},
year = {2021}
}