基于边对偶场景图与消息传递神经网络的语义场景图生成
计算机视觉与模式识别
2023-11-03 v1
摘要
随着生成式AI的发展，对场景图生成（SGG）的兴趣显著增长——SGG全面捕获图像中物体间的关系与交互并创建结构化基于图的表示。然而，现有SGG方法依赖以物体为中心和二分关系，准确预测细粒度关系的能力有限。为解决这些问题，本文提出一种建模多物体关系的新方法，称为边对偶场景图生成（EdgeSGG）。EdgeSGG基于边对偶场景图与对偶消息传递神经网络（DualMPNN），可捕获无约束物体间丰富的上下文交互。为促进具有对称图结构的边对偶场景图的学习，所提DualMPNN同时学习以物体为中心和以关系为中心的特征，以更准确预测关系感知上下文，并允许物体间细粒度关系更新。使用两个SGG公开数据集与三个子任务六项指标，与最先进（SoTA）方法进行了对比实验。相较SoTA方法，所提模型在所有SGG子任务上均展现出大幅性能提升。此外，长尾分布实验揭示，融入物体间关系有效缓解了现有长尾问题。
引用
@article{arxiv.2311.01192,
title = {Semantic Scene Graph Generation Based on an Edge Dual Scene Graph and Message Passing Neural Network},
author = {Hyeongjin Kim and Sangwon Kim and Jong Taek Lee and Byoung Chul Ko},
journal= {arXiv preprint arXiv:2311.01192},
year = {2023}
}