用于弱监督目标定位中偏差缓解的反事实共现学习

当代弱监督目标定位(WSOL)方法主要聚焦于解决定位最具判别性区域的挑战,而在很大程度上忽视了较少被探索的偏差激活问题——即错误地将共现背景与前景特征一起高亮。本文中,我们进行了深入的因果分析以探究偏差激活的成因。基于我们的分析,我们将此现象归因于共现背景混杂因素的存在。基于这一深刻见解,我们引入了一种称为反事实共现学习(CCL)的开创性范式,通过巧妙地将前景从共现背景元素中解耦来精心生成反事实表示。此外,我们提出了一种称为Counterfactual-CAM的创新网络架构。该架构将针对反事实表示的扰动机制无缝集成到基于 vanilla CAM 的模型中。通过使用这些扰动表示训练WSOL模型,我们引导模型优先关注一致的前景内容,同时降低分散注意力的共现背景的影响。据我们所知,本研究是对该研究方向的首次探索。我们在多个基准上进行的广泛实验验证了所提出的Counterfactual-CAM在缓解偏差激活方面的有效性。