基于异构与对偶图上类型感知消息传递的无偏场景图生成
计算机视觉与模式识别
2024-11-21 v1
摘要
尽管在无偏场景图生成研究方面取得了巨大进展，但仍存在一些阻碍提升头部和尾部类别预测性能的问题。为解决这些问题，本文提出了一种无偏场景图生成方法（TA-HDG）。在建模多个对象之间的关系时，提出了交互图构建方法，通过结合异构图和对偶图来建模关系对对象的依赖，以处理交互和非交互关系。该方法还实现了主客体对选择策略，以减少无意义的边。此外，类型感知消息传递通过在类型内和类型间阶段捕获类型内和类型间上下文，增强了对复杂交互的理解。类型内阶段捕获关系间和对象间的语义上下文。在此基础上，类型间阶段分别针对交互和非交互关系捕获对象与关系之间的上下文。在两个数据集上的实验表明，TA-HDG 在 R@K 和 mR@K 指标上均取得了提升，证明 TA-HDG 能够在保持头部类别竞争力的同时准确预测尾部类别。
引用
@article{arxiv.2411.13287,
title = {Unbiased Scene Graph Generation by Type-Aware Message Passing on Heterogeneous and Dual Graphs},
author = {Guanglu Sun and Jin Qiu and Lili Liang},
journal= {arXiv preprint arXiv:2411.13287},
year = {2024}
}