注意力解释：论证决策并指向证据（扩展摘要）
计算机视觉与模式识别
2017-11-21 v1
摘要
深度模型因在广泛视觉任务上的令人印象深刻的性能，已成为视觉决策问题的实际标准。另一方面，其不透明性引发了人们对可解释系统的浓厚兴趣。在本工作中，我们强调模型解释多种形式（如视觉指向与文本论证）的重要性。缺乏带论证标注的数据是生成多模态解释的瓶颈之一。因此，我们提出了两个带标注的大规模数据集，以视觉与文本方式论证各种活动的分类决策（即 ACT-X）以及问答决策（即 VQA-X）。我们还引入了一种同时生成视觉与文本解释的多模态方法。我们定量表明，用文本解释进行训练不仅产生更好的文本论证模型，而且产生能更好定位支持其决策证据的模型。
引用
@article{arxiv.1711.07373,
title = {Attentive Explanations: Justifying Decisions and Pointing to the Evidence (Extended Abstract)},
author = {Dong Huk Park and Lisa Anne Hendricks and Zeynep Akata and Anna Rohrbach and Bernt Schiele and Trevor Darrell and Marcus Rohrbach},
journal= {arXiv preprint arXiv:1711.07373},
year = {2017}
}
备注
arXiv admin note: text overlap with arXiv:1612.04757