基于模拟跨图像擦除的知识迁移用于弱监督语义分割
计算机视觉与模式识别
2024-07-04 v1
摘要
尽管对抗擦除在弱监督语义分割中屈居于激活整体目标区域的优势，但现有方法仍因难以确定何时停止擦除而受制于过度激活和过度扩张的困境。本文提出一种知识迁移与模拟跨图像擦除（KTSE）方法，用于弱监督语义分割以缓解上述问题。与依赖移除判别性部分以实现更多目标发现的现有擦除方法不同，我们提出了模拟跨图像擦除情景，通过引入额外目标信息来削弱原始激活。随后，将目标知识从锚定图像迁移到激活程度较低的定位图，从而强化网络的位置感知能力。鉴于所采用的双向对齐也可能因约束不足而削弱锚定图像的激活，我们提出了自监督正则化模块，以维持判别性区域的可靠激活，并提高多类别目标图像中跨类目标边界的识别能力。此外，我们采用图像内擦除，提出多粒度对齐模块以轻微扩大目标激活，从而提升目标知识的迁移。对PASCAL VOC 2012和COCO数据集上的大量实验和消融研究表明，我们所提出方法的优越性。源代码和模型已提供：https://github.com/NUST-Machine-Intelligence-Laboratory/KTSE。
引用
@article{arxiv.2407.02768,
title = {Knowledge Transfer with Simulated Inter-Image Erasing for Weakly Supervised Semantic Segmentation},
author = {Tao Chen and XiRuo Jiang and Gensheng Pei and Zeren Sun and Yucheng Wang and Yazhou Yao},
journal= {arXiv preprint arXiv:2407.02768},
year = {2024}
}
备注
accepted by the European Conference on Computer Vision (ECCV), 2024