辅助任务增强的弱监督语义分割双重亲和力学习
计算机视觉与模式识别
2024-03-05 v1
摘要
大多数现有的弱监督语义分割（WSSS）方法依赖类激活图（CAM），利用图像级标签提取粗略的特定类别定位图。先前的工作通常使用离线启发式阈值处理过程，将 CAM 图与由通用预训练显著性模型生成的现成显著性图相结合，以产生更准确的伪分割标签。我们提出 AuxSegNet+，一个弱监督辅助学习框架，以探索这些显著性图中的丰富信息以及显著性检测与语义分割之间显著的跨任务相关性。在所提出的 AuxSegNet+ 中，显著性检测和多标签图像分类被用作辅助任务，以仅使用图像级真实标签来改善语义分割这一主任务。我们还提出了一种跨任务亲和力学习机制，以从显著性和分割特征图中学习像素级亲和力。具体而言，我们提出了一个跨任务双重亲和力学习模块来学习成对和一元亲和力，通过为显著性检测和语义分割聚合依赖于查询和不依赖于查询的全局上下文，用于增强特定任务的特征和预测。学习到的跨任务成对亲和力也可用于细化和传播 CAM 图，为两个任务提供更好的伪标签。通过跨任务亲和力学习和伪标签更新，实现了分割性能的迭代提升。大量实验证明了所提出方法的有效性，在具有挑战性的 PASCAL VOC 和 MS COCO 基准上取得了新的最先进 WSSS 结果。
引用
@article{arxiv.2403.01156,
title = {Auxiliary Tasks Enhanced Dual-affinity Learning for Weakly Supervised Semantic Segmentation},
author = {Lian Xu and Mohammed Bennamoun and Farid Boussaid and Wanli Ouyang and Ferdous Sohel and Dan Xu},
journal= {arXiv preprint arXiv:2403.01156},
year = {2024}
}
备注
Accepted at IEEE Transactions on Neural Networks and Learning Systems. arXiv admin note: substantial text overlap with arXiv:2107.11787