用于弱监督语义分割的空间结构约束
计算机视觉与模式识别
2024-01-23 v1
摘要
由于易于获取，图像级标签在弱监督语义分割任务中占据主导地位。由于图像级标签只能指示特定类别物体的存在与否，基于可视化的技术被广泛采用以提供物体位置线索。考虑到类激活图(CAM)只能定位物体最具鉴别性的部分，近期方法通常采用扩展策略来扩大激活区域，以实现更完整的物体定位。然而，在没有适当约束的情况下，扩展的激活很容易侵入背景区域。在本文中，我们提出了用于弱监督语义分割的空间结构约束(SSC)，以缓解注意力扩展导致的不必要的物体过度激活。具体而言，我们提出了一个CAM驱动的重建模块，直接从深层CAM特征重建输入图像，通过保留图像内容的粗糙空间结构来约束最后一层物体注意力的扩散。此外，我们提出了一个激活自调制模块，通过增强区域一致性来细化CAM，使其具有更精细的空间结构细节。无需外部显著性模型提供背景线索，我们的方法在PASCAL VOC 2012和COCO数据集上分别实现了72.7%和47.0%的mIoU，证明了我们所提方法的优越性。
引用
@article{arxiv.2401.11122,
title = {Spatial Structure Constraints for Weakly Supervised Semantic Segmentation},
author = {Tao Chen and Yazhou Yao and Xingguo Huang and Zechao Li and Liqiang Nie and Jinhui Tang},
journal= {arXiv preprint arXiv:2401.11122},
year = {2024}
}
备注
accepted by IEEE Transactions on Image Processing