用于弱监督语义分割的激活调制与重校准方案
计算机视觉与模式识别
2021-12-17 v1
摘要
图像级弱监督语义分割 (WSSS) 是一项基础且具挑战性的计算机视觉任务，有助于场景理解和自动驾驶。大多数现有方法利用基于分类的类激活图 (CAMs) 作为初始伪标签，这些方法往往关注具有判别性的图像区域，且缺乏针对分割任务的定制化特征。为了缓解这一问题，我们提出了一种新颖的激活调制与重校准 (AMR) 方案，该方案利用聚光灯分支和补偿分支来获得加权 CAMs，从而提供重校准监督和任务特定的概念。具体而言，采用注意力调制模块 (AMM) 从通道-空间序列的角度重新排列特征重要性分布，这有助于显式建模通道间依赖关系和空间编码，以自适应地调制面向分割的激活响应。此外，我们为双分支引入了交叉伪监督，这可以被视为一种语义相似性正则化，用于相互精炼两个分支。大量实验表明，AMR 在 PASCAL VOC 2012 数据集上建立了新的最先进性能，不仅超越了当前使用图像级监督训练的方法，还超越了一些依赖更强监督（如显著性标签）的方法。实验还表明，我们的方案是即插即用的，可以与其他方法结合以提升其性能。
引用
@article{arxiv.2112.08996,
title = {Activation Modulation and Recalibration Scheme for Weakly Supervised Semantic Segmentation},
author = {Jie Qin and Jie Wu and Xuefeng Xiao and Lujun Li and Xingang Wang},
journal= {arXiv preprint arXiv:2112.08996},
year = {2021}
}
备注
Accepted by AAAI2022