自适应上下文感知：如何泛化至新背景与歧义物体

生物视觉系统会自适应地利用上下文，以识别处于具有新颖上下文的新环境中的物体，以及熟悉环境中被遮挡或模糊的物体。本文研究了视觉模型如何自适应地利用上下文进行分布外（OOD）泛化，并利用我们的分析结果来改进模型的 OOD 泛化能力。首先，我们构建了两种不同的 OOD 设定，其中上下文要么无关（背景不变性），要么有益（物体消歧），反映了生物视觉中所面临的多样化上下文挑战。随后，我们分析了模型在这两种不同 OOD 设定下的性能，并表明在一种设定中表现出色的模型往往在另一种设定中表现不佳。值得注意的是，先前关于学习因果特征的工作在一种设定上有所提升，却在另一种设定上受损。这凸显了跨两种 OOD 设定泛化的重要性，因为该能力对于人类认知和鲁棒 AI 系统都至关重要。接下来，为了更好地理解有助于 OOD 泛化的模型特性，我们使用表征几何分析和我们自身的探测方法考察了一组模型，发现那些具有更因子化表征和适当特征加权的模型在背景不变性和物体消歧测试中更为成功。我们通过对表征因子化和特征加权进行因果干预进一步验证了这些发现，以证明它们对性能的因果效应。最后，我们提出了新的增强方法来提升模型泛化能力。这些方法优于强基线，在分布内和 OOD 测试中均取得改进。总之，要复刻生物视觉的泛化能力，计算机视觉模型必须具备因子化的物体与背景表征，并对两类特征进行适当加权。