图神经网络在视觉-语言图像理解中的应用：综述
计算机视觉与模式识别
2024-04-15 v2 机器学习
摘要
二维图像理解是计算机视觉中的复杂问题，却掌握着提供类人场景理解的关键。它不止于识别图像中的物体，而是试图理解场景。该问题的解构成了一系列任务的基础，包括图像描述、视觉问答（VQA）和图像检索。图提供了一种表示图像中物体间关系排布的自然方式，因此近年来图神经网络（GNNs）已成为许多二维图像理解流程的标准组件，成为核心架构部件，尤其在 VQA 类任务中。本综述回顾了这一快速发展的领域，提供了二维图像理解方法中所用图类型的分类法、该领域所用 GNN 模型的详尽列表，以及未来潜在发展的路线图。据我们所知，这是首篇涵盖以 GNNs 作为主要架构部分的图像描述、视觉问答和图像检索技术的全面综述。
引用
@article{arxiv.2303.03761,
title = {Graph Neural Networks in Vision-Language Image Understanding: A Survey},
author = {Henry Senior and Gregory Slabaugh and Shanxin Yuan and Luca Rossi},
journal= {arXiv preprint arXiv:2303.03761},
year = {2024}
}
备注
20 pages, 5 figures, 5 tables