用于缓解场景图生成偏差的反向因果框架

现有的两阶段场景图生成（SGG）框架通常包含一个用于提取关系特征的检测器和一个用于对这些关系进行分类的分类器；因此，其训练范式遵循因果链结构，即检测器的输入决定分类器的输入，进而影响最终预测。然而，这种因果链结构会在检测器输入与最终预测之间产生虚假相关性，即某种关系的预测可能会受到其他关系的影响。这种影响会引发至少两种可观察的偏差：尾部关系被预测为头部关系，以及前景关系被预测为背景关系；值得注意的是，后者在文献中鲜有讨论。为解决此问题，我们提出将因果链结构重构为反向因果结构，其中分类器的输入被视为混杂因子，检测器的输入和最终预测均被视为因果变量。具体而言，我们将重构的因果范式称为 SGG 的反向因果框架（Reverse causal Framework for SGG, RcSGG）。RcSGG 首先采用所提出的主动反向估计（Active Reverse Estimation, ARE）对混杂因子进行干预，以估计反向因果关系，即从最终预测到分类器输入的因果关系。随后，提出最大信息采样（Maximum Information Sampling, MIS），通过考虑关系信息来进一步增强反向因果关系估计。理论上，RcSGG 能够缓解 SGG 框架中固有的虚假相关性，进而消除引发的偏差。在流行基准和多种 SGG 框架上的综合实验表明，该方法实现了最先进的平均召回率。