面向弱监督指代表达式理解与分割的多任务协作网络 WeakMCN
计算机视觉与模式识别
2025-05-30 v2
摘要
弱监督指代表达式理解（WREC）和分割（WRES）旨在基于给定表达式使用弱监督信号（如图像-文本对）学习对象定位。虽然这些任务传统上是单独建模的，但我们认为它们可以在多任务框架中进行联合学习，从而获得益处。为此，我们提出了 WeakMCN——一个新型多任务协作网络，通过双分支架构有效地将 WREC 和 WRES 结合在一起。具体而言，WREC 分支被建模为基于锚框的对比学习，同时也作为监督 WRES 分支的教师。WeakMCN 中，我们提出了两种创新设计以促进多任务协作，即动态视觉特征增强（DVFE）和协作一致性模块（CCM）。DVFE 动态地组合各种预训练视觉知识以满足不同任务需求，而 CCM 则从优化角度出发促进跨任务一致性。广泛的实验结果在三个流行的 REC 和 RES 基准测试集上（即 RefCOCO、RefCOCO+ 和 RefCOCOg）均表明，WeakMCN 在与 SOTA 单任务方法（如在 RefCOCO 上 WREC 和 WRES 任务分别提升最高可达 3.91% 和 13.11%）方面性能显著提升。此外，实验还验证了 WeakMCN 在半监督 REC 和 RES 设置下的强大泛化能力，例如在 1% RefCOCO 上分别获得 +8.94% 和 +7.71% 的提升。该代码已公开于 https://github.com/MRUIL/WeakMCN。
引用
@article{arxiv.2505.18686,
title = {WeakMCN: Multi-task Collaborative Network for Weakly Supervised Referring Expression Comprehension and Segmentation},
author = {Yang Liu and Silin Cheng and Xinwei He and Sebastien Ourselin and Lei Tan and Gen Luo},
journal= {arXiv preprint arXiv:2505.18686},
year = {2025}
}
备注
Accepted by CVPR2025