基准测试忠实性：面向视觉-语言任务中准确自然语言解释的研究

随着深度神经模型日益渗透我们的日常生活，对其决策过程给出透明且可理解的解释成为迫切需求。然而，目前大多数已开发的解释方法对普通用户而言并不直观易懂。相比之下，自然语言解释（NLEs）有望以易于理解的方式传达模型的决策过程。尽管当前模型能成功生成令人信服的解释，但这些 NLEs 在多大程度上真正表征了模型的推理过程——这一称为忠实性的属性——仍属开放问题。尽管开发衡量忠实性的指标对设计更忠实的模型至关重要，现有指标要么不适用于 NLEs，要么并非设计用于跨多种模态比较不同模型架构。基于先前关于忠实性度量的研究并依据详细理据，我们提出三种忠实性指标：Attribution-Similarity、NLE-Sufficiency 与 NLE-Comprehensiveness，以应对该问题。通过在 e-ViL 基准的 VQA-X 与 e-SNLI-VE 数据集上系统地对高性能 e-UG 模型施加修改（我们预期其解释忠实性度量会发生变化），评估了这些指标的有效性。我们在 e-SNLI-VE 数据集上表明，移除 e-UG 解释生成模块的冗余输入，按序提升了该模型在语言模态上的忠实性（由 Attribution-Similarity 测得）。此外，我们的分析表明 NLE-Sufficiency 与 NLE-Comprehensiveness 未必与 Attribution-Similarity 相关，并讨论了如何利用这两个指标进一步洞察解释生成过程。