用于消除场景图生成偏差的因果调整模块

虽然最近的场景图生成(Scene Graph Generation, SGG)消偏方法显示出令人印象深刻的性能，但这些努力常常将模型偏差归因于关系的长尾分布，忽略了源自对象和对象对分布不均衡更深层次原因。本文运用因果推断技术来建模这些观察到的不均衡分布之间的因果关系。我们的洞见在于，因果推断能够捕捉复杂分布之间不可观察的因果效应，这对于追溯模型偏差的根源至关重要。具体而言，我们引入了基于调解变量的因果链模型(Mediator-based Causal Chain Model, MCCM)，该模型不仅建模了对象、对象对和关系之间的因果关系，还包含调解变量，即共现分布，以补充因果关系。随后，我们提出了因果调整模块(Causal Adjustment Module, CAModule)，用于估计建模的因果结构，将MCCM中的变量作为输入，生成一组旨在纠正偏差模型预测的调整因子。此外，我们的方法使模型能够组合零样本关系，从而增强模型识别此类关系的能力。在 various SGG backbones和流行基准测试上进行的实验表明，CAModule在各种SGG骨干网络和流行基准测试上实现了最高的平均召回率，在具有挑战性的零样本召回率指标上也观察到显著改进。