HL-Net：用于场景图生成的异配性学习网络
计算机视觉与模式识别
2022-05-05 v2
摘要
场景图生成（SGG）旨在检测图像中的物体并预测其成对关系。当前 SGG 方法通常利用图神经网络（GNNs）获取物体/关系间的上下文信息。然而，尽管有效，当前 SGG 方法仅假设场景图同配性而忽略了异配性。据此，本文提出一种新颖的异配性学习网络（HL-Net），以全面探索场景图中物体/关系间的同配性与异配性。更具体地，HL-Net 包含以下部分：1）自适应重加权 transformer 模块，自适应整合来自不同层的信息以利用物体中的异配性与同配性；2）关系特征传播模块，通过考虑异配性高效探索关系间连接，以精炼关系表示；3）异配性感知消息传递方案，进一步区分物体/关系间的异配性与同配性，从而促进图中改进的消息传递。我们在两个公开数据集 Visual Genome（VG）和 Open Images（OI）上进行了大量实验。实验结果证明了我们所提 HL-Net 相对于现有最先进方法的优越性。更详细地，HL-Net 在 VG 数据集上以 2.1 的优势超越次优竞争方法（场景图分类），在 IO 数据集上以 1.2 的优势超越（最终得分）。代码见 https://github.com/siml3/HL-Net。
引用
@article{arxiv.2205.01316,
title = {HL-Net: Heterophily Learning Network for Scene Graph Generation},
author = {Xin Lin and Changxing Ding and Yibing Zhan and Zijian Li and Dacheng Tao},
journal= {arXiv preprint arXiv:2205.01316},
year = {2022}
}
备注
Accepted to CVPR 2022