同时从非判别性特征中提取类激活图

从分类模型中提取类激活图（CAM）常常导致对前景物体的覆盖较差，即仅识别出判别性区域（例如“羊”的“头”），而其余部分（例如“羊”的“腿”）被误认为背景。其背后的关键在于分类器（用于计算 CAM）的权重仅捕获物体的判别性特征。我们通过引入一种新的 CAM 计算方法解决此问题，该方法显式地同时捕获非判别性特征，从而将 CAM 扩展以覆盖整个物体。具体而言，我们省略分类模型的最后池化层，并对一个物体类别的所有局部特征进行聚类，其中“局部”意指“在某一空间像素位置”。我们将得到的 K 个聚类中心称为局部原型——代表如“羊”的“头”、“腿”和“身体”等局部语义。给定该类别的一张新图像，我们将其未池化特征与每个原型比较，导出 K 个相似度矩阵，然后将它们聚合成一张热力图（即我们的 CAM）。因此我们的 CAM 无差别地捕获该类别的所有局部特征。我们在具有挑战性的弱监督语义分割（WSSS）任务中评估它，并通过简单地用我们的 CAM 替换原始 CAM，将其嵌入多种最先进的 WSSS 方法（如 MCTformer 和 AMN）中。我们在标准 WSSS 基准（PASCAL VOC 和 MS COCO）上的大量实验显示了我们方法的优越性：以极少的计算开销获得一致提升。