基于视觉常识的异质图对比学习
计算机视觉与模式识别
2023-11-14 v1
摘要
如何选取相关关键对象并推理跨视觉与语言领域的复杂关系，是视觉问答（VQA）等许多多模态应用中的两个关键问题。本工作中，我们引入视觉常识信息并提出一种异质图对比学习方法，以更好地完成视觉推理任务。我们的方法设计为即插即用方式，因此可快速简便地与多种代表性方法结合。具体而言，我们的模型包含两个关键组件：基于常识的对比学习和图关系网络。通过对比学习，我们引导模型更关注判别性对象和相关的视觉常识属性。此外，得益于图关系网络的引入，模型推理同质边之间的关联与异质边之间的相似性，使信息传输更加有效。在四个基准上的大量实验表明，我们的方法大幅改善了七种代表性VQA模型，证明了其有效性与泛化能力。
引用
@article{arxiv.2311.06553,
title = {Visual Commonsense based Heterogeneous Graph Contrastive Learning},
author = {Zongzhao Li and Xiangyu Zhu and Xi Zhang and Zhaoxiang Zhang and Zhen Lei},
journal= {arXiv preprint arXiv:2311.06553},
year = {2023}
}