基于关系的神经 Baby Talk
计算机视觉与模式识别
2021-03-09 v1 人工智能
摘要
理解图像中物体之间的交互是生成描述的重要元素。在本文中，我们提出一种基于关系的神经 Baby Talk（R-NBT）模型，通过三种不同的基于关系的图注意力网络（GATs）编码每张图像，以全面研究几种类型的成对物体交互。我们研究三种主要关系：探索几何交互的\textit{空间关系}、提取语义交互的\textit{语义关系}，以及捕获无法如上显式建模的隐藏信息的\textit{隐式关系}。我们以图像中的物体为节点、成对物体的相互关系为边，构建三种关系图。通过 GATs 分别探索邻域区域特征，我们将不同类型的关系整合到每个节点的视觉特征中。在 COCO 数据集上的实验表明，我们提出的 R-NBT 模型在三项图像描述生成任务上优于在 COCO 数据集上训练的最先进模型。
引用
@article{arxiv.2103.04846,
title = {Relationship-based Neural Baby Talk},
author = {Fan Fu and Tingting Xie and Ioannis Patras and Sepehr Jalali},
journal= {arXiv preprint arXiv:2103.04846},
year = {2021}
}