AiR：具推理能力的注意力
计算机视觉与模式识别
2020-07-30 v1
摘要
尽管注意力已成为深度神经网络中日益流行的组件，既可解释又能提升模型性能，但鲜有工作考察注意力如何推进以完成任务以及其是否合理。本工作中，我们提出一种具推理能力的注意力（AiR）框架，利用注意力理解并改进导向任务结果的过程。我们首先基于一系列原子推理操作定义一种评价指标，实现对考虑推理过程的注意力的定量测量。随后我们收集人眼追踪与答案正确性数据，并分析各类机器与人类注意力在推理能力及其对任务性能影响上的表现。进一步，我们提出一种监督方法，联合且渐进地优化注意力、推理与任务性能，使模型学会遵循推理过程关注感兴趣区域。我们展示了所提框架在分析与建模范式中具有更优推理能力与任务性能的有效性。代码与数据见 https://github.com/szzexpoi/AiR
引用
@article{arxiv.2007.14419,
title = {AiR: Attention with Reasoning Capability},
author = {Shi Chen and Ming Jiang and Jinhui Yang and Qi Zhao},
journal= {arXiv preprint arXiv:2007.14419},
year = {2020}
}
备注
ECCV2020 (Oral), supplementary materials included