面向弱监督目标定位的知识引导因果干预方法

以往的弱监督目标定位(WSOL)方法旨在扩展激活图判别区域以覆盖整个目标，却忽视了仅依赖图像级标签时的两个固有挑战。首先，“纠缠上下文”问题源于目标与上下文的共现(如鱼与水)，使模型难以清晰区分目标边界。其次，“C-L困境”问题由池化层导致的信息衰减引起，其难以同时保留用于精确分类的语义信息与用于准确定位的关键细节，导致性能上的权衡。本文提出一种知识引导因果干预方法，称为KG-CI-CAM，一次性解决这两个未被充分探索的问题。具体而言，我们通过因果干预解决共现上下文混杂因子问题，探究图像特征、上下文与类别间的因果关系，以消除类激活图中偏置的目标-上下文纠缠。基于解纠缠的目标特征，我们引入多源知识引导框架，在模型训练期间平衡吸收分类知识与定位知识。在多个基准数据集上的大量实验证明了KG-CI-CAM在学习混杂上下文中清晰目标边界以及缓解分类与定位性能困境方面的有效性。