用于无偏场景图生成的组合特征增强

场景图生成（SGG）旨在检测给定图像中所有的视觉关系三元组 $<$\texttt{sub}, \texttt{pred}, \texttt{obj}$>$。随着各种利用每个关系三元组内在与外在信息的先进技术的出现，SGG 在近年来取得了巨大进展。然而，由于普遍存在的长尾谓词分布，当今的 SGG 模型仍容易偏向于头部谓词。当前 SGG 最流行的去偏方案是重平衡方法，例如改变原始训练样本的分布。在本文中，我们指出所有现有的重平衡策略都未能增加每个谓词的关系三元组特征的多样性，而这对鲁棒的 SGG 至关重要。为此，我们提出一种新颖的组合特征增强（\textbf{CFA}）策略，这是首个从增加三元组特征多样性角度缓解偏置问题的无偏 SGG 工作。具体而言，我们首先将每个关系三元组特征分解为两个分量：内在特征与外在特征，分别对应关系三元组的内在特性与外在上下文。然后，我们设计两个不同的特征增强模块，通过从其他样本替换或混合其内在或外在特征来丰富原始关系三元组的特征多样性。由于其模型无关的特性，CFA 可无缝集成到各种 SGG 框架中。大量消融实验表明，CFA 在不同指标权衡上达到了新的最先进性能。