基于关系感知消息传递神经网络的无偏异质场景图生成
人工智能
2023-07-07 v4
摘要
近期的场景图生成（SGG）框架聚焦于学习图像中多个物体间的复杂关系。得益于消息传递神经网络（MPNN）对物体与其邻域物体间高阶交互建模的特性，其成为 SGG 的主导表示学习模块。然而，现有基于 MPNN 的框架将场景图视为同质图，这限制了对物体间视觉关系的上下文感知。即它们忽视了关系往往高度依赖于其所关联物体的事实。本文提出一种无偏异质场景图生成（HetSGG）框架，利用消息传递神经网络捕捉关系感知上下文。我们设计了一种新颖的消息传递层，称为关系感知消息传递神经网络（RMP），其在聚合图像上下文信息时考虑物体间的谓词类型。我们充分的评估表明，HetSGG 优于最先进（SOTA）方法，尤其在尾部谓词类上表现更优。
引用
@article{arxiv.2212.00443,
title = {Unbiased Heterogeneous Scene Graph Generation with Relation-aware Message Passing Neural Network},
author = {Kanghoon Yoon and Kibum Kim and Jinyoung Moon and Chanyoung Park},
journal= {arXiv preprint arXiv:2212.00443},
year = {2023}
}
备注
9 pages; AAAI 2023