分解与重组：一种缓解虚假相关性的组合方法

虽然标准的经验风险最小化 (ERM) 训练被证明对分布内数据的图像分类有效，但在分布外样本上表现不佳。图像分类中分布偏移的主要来源之一是图像的组合性质。具体而言，除了决定标签的主要对象或组件外，通常还存在其他图像组件，这可能导致训练环境和测试环境之间输入分布的偏移。更重要的是，这些组件可能与标签存在虚假相关性。为了解决这个问题，我们提出了分解与重组 (DaC)，这是一种基于组合图像元素来提高对相关性偏移鲁棒性的组合方法。根据我们的观察，使用 ERM 训练的模型通常高度关注因果组件或与标签具有高度虚假相关性的组件（特别是在模型具有高置信度的数据点上）。事实上，根据虚假相关性的数量以及基于因果或非因果组件进行分类的难易程度，模型通常会更多地关注其中之一（在高置信度样本上）。据此，我们首先尝试利用 ERM 训练模型的类激活图来识别图像的因果组件。随后，我们通过组合图像对图像进行干预，并在包含反事实样本的增强数据上重新训练模型。除了具有高可解释性外，这项工作还提出了一种组平衡方法，通过在图像上进行干预，无需在训练期间使用组标签或关于虚假特征的信息。在相关性偏移中，该方法在相同数量的组标签监督下，相比先前的方法具有更好的最坏组准确率。