面向弱监督语义分割的区域语义对比与聚合
计算机视觉与模式识别
2022-03-24 v2
摘要
从弱标记（例如仅图像标签）数据学习语义分割具有挑战性，因为很难从稀疏的语义标签推断密集的物体区域。尽管已被广泛研究，当前大多数方法直接从单幅图像或图像对所携带的有限语义标注中学习，难以获得完整的定位图。我们的工作从一新视角缓解该问题，通过在大量弱标记训练数据中协同探索丰富的语义上下文以用于网络学习与推断。具体而言，我们提出区域语义对比与聚合 (RCA)。RCA 配备一个区域记忆库，用于存储训练数据中出现的海量、多样物体模式，其作为探索数据集级语义结构的强力支撑。特别地，我们提出 i) 语义对比，通过对比海量类别物体区域来驱动网络学习，从而获得更整体的物体模式理解；以及 ii) 语义聚合，将记忆中多样的关系上下文聚集以丰富语义表示。以此方式，RCA 获得了细粒度语义理解的强大能力，并最终在两个流行基准即 PASCAL VOC 2012 与 COCO 2014 上建立了新的 SOTA 结果。
引用
@article{arxiv.2203.09653,
title = {Regional Semantic Contrast and Aggregation for Weakly Supervised Semantic Segmentation},
author = {Tianfei Zhou and Meijie Zhang and Fang Zhao and Jianwu Li},
journal= {arXiv preprint arXiv:2203.09653},
year = {2022}
}
备注
Accepted to CVPR 2022. Code: https://github.com/maeve07/RCA.git