基于认知注意力网络的可解释视觉理解
计算机视觉与模式识别
2023-12-11 v3 人工智能
摘要
尽管识别层面的图像理解已取得显著进展，但可靠的视觉场景理解需要在识别层面以及认知层面上的全面图像理解，这要求利用多源信息、学习不同层次的理解以及广泛的常识知识。本文提出一种用于视觉常识推理的新型认知注意力网络(CAN)，以实现可解释视觉理解。具体而言，我们首先引入一个图像-文本融合模块，以集体融合来自图像和文本的信息。其次，设计了一种新颖的推理模块，对图像、查询与回答之间的常识进行编码。在大规模视觉常识推理(VCR)基准数据集上的大量实验证明了我们方法的有效性。实现代码公开于 https://github.com/tanjatang/CAN
引用
@article{arxiv.2108.02924,
title = {Interpretable Visual Understanding with Cognitive Attention Network},
author = {Xuejiao Tang and Wenbin Zhang and Yi Yu and Kea Turner and Tyler Derr and Mengyu Wang and Eirini Ntoutsi},
journal= {arXiv preprint arXiv:2108.02924},
year = {2023}
}
备注
ICANN21