通过两阶段因果建模实现无偏场景图生成
计算机视觉与模式识别
2023-07-12 v1
摘要
尽管近期无偏场景图生成（SGG）方法表现令人印象深刻，当前去偏文献主要关注长尾分布问题，却忽视了另一偏差来源，即语义混淆，其使 SGG 模型易对相似关系给出错误预测。本文利用因果推断探索 SGG 任务的去偏流程。我们的核心见解是，因果中的稀疏机制偏移（SMS）允许对多种偏差独立干预，从而可能在追求高信息量尾部关系预测的同时保留头部类别性能。然而，含噪数据集导致 SGG 任务存在未观测混杂因子，因而所构建的因果模型总是因果不充分而无法受益于 SMS。为此，我们提出面向 SGG 任务的两阶段因果建模（TsCM），将长尾分布与语义混淆作为结构因果模型（SCM）的混杂因子，并将因果干预解耦为两阶段。第一阶段为因果表示学习，我们使用一种新颖的总体损失（P-Loss）干预语义混淆混杂因子。第二阶段引入自适应逻辑调整（AL-Adjustment）以消除长尾分布混杂因子，完成因果校准学习。这两阶段与模型无关，故可用于任何寻求无偏预测的 SGG 模型。在流行 SGG 主干与基准上的综合实验表明，我们的 TsCM 在平均召回率上达到最优性能。此外，TsCM 能维持高于其他去偏方法的召回率，表明我们的方法在头部与尾部关系间取得更好权衡。
引用
@article{arxiv.2307.05276,
title = {Unbiased Scene Graph Generation via Two-stage Causal Modeling},
author = {Shuzhou Sun and Shuaifeng Zhi and Qing Liao and Janne Heikkilä and Li Liu},
journal= {arXiv preprint arXiv:2307.05276},
year = {2023}
}
备注
17 pages, 9 figures. Accepted by IEEE Transactions on Pattern Analysis and Machine Intelligence