推理中的注意力：数据集、分析与建模
计算机视觉与模式识别
2022-04-22 v1
摘要
尽管注意力已成为深度神经网络中日益流行的组件，既用于解释模型性能又用于提升模型性能，但鲜有工作考察注意力如何推进以完成任务以及其是否合理。在本工作中，我们提出一个具有推理能力的注意力（AiR）框架，利用注意力来理解和改进导致任务结果的过程。我们首先基于一系列原子推理操作定义一种评估指标，从而能够对考虑推理过程的注意力进行定量度量。随后我们收集人类眼动追踪与答案正确性数据，并分析多种机器与人类注意力机制在推理能力及其对任务性能影响方面的表现。为改进视觉问答模型的注意力与推理能力，我们提出沿推理过程渐进地监督注意力的学习，并区分正确与错误的注意力模式。我们展示了所提框架在分析与建模具有更好推理能力和任务性能的注意力方面的有效性。代码与数据可在 https://github.com/szzexpoi/AiR 获取。
引用
@article{arxiv.2204.09774,
title = {Attention in Reasoning: Dataset, Analysis, and Modeling},
author = {Shi Chen and Ming Jiang and Jinhui Yang and Qi Zhao},
journal= {arXiv preprint arXiv:2204.09774},
year = {2022}
}
备注
To be published in TPAMI. arXiv admin note: substantial text overlap with arXiv:2007.14419