面向场景图生成的谓词关联学习
计算机视觉与模式识别
2022-07-13 v1
摘要
对于典型的场景图生成（SGG）方法，谓词的头部类与尾部类性能之间往往存在较大差距。该现象主要由不同谓词之间的语义重叠以及长尾数据分布引起。本文提出一种用于SGG的谓词关联学习（PCL）方法，通过考虑谓词之间的相关性来解决上述两个问题。为描述强相关谓词类之间的语义重叠，定义了谓词关联矩阵（PCM）来量化谓词对之间的关系，并动态更新以去除矩阵的长尾偏置。此外，将PCM整合进谓词关联损失函数（）中，以减少未标注类的抑制性梯度。所提方法在Visual Genome基准上进行了评估，在已有方法基础上尾部类的性能得到显著提升。
引用
@article{arxiv.2107.02713,
title = {Predicate correlation learning for scene graph generation},
author = {Leitian Tao and Li Mi and Nannan Li and Xianhang Cheng and Yaosi Hu and Zhenzhong Chen},
journal= {arXiv preprint arXiv:2107.02713},
year = {2022}
}