Contextrast：面向语义分割的上下文对比学习
计算机视觉与模式识别
2024-10-10 v2
摘要
尽管语义分割取得了巨大进步，但由于缺乏局部/全局上下文以及它们之间的关系，挑战依然存在。在本文中，我们提出了Contextrast，一种基于对比学习的语义分割方法，能够捕获局部/全局上下文并理解它们之间的关系。我们提出的方法包括两部分：a) 上下文对比学习和b) 边界感知负采样。上下文对比学习通过多尺度特征聚合和特征间/内关系获取局部/全局上下文，以获得更好的判别能力。同时，边界感知负采样选择错误预测区域边界上的嵌入特征，作为我们对比学习中更难的负样本，通过利用细粒度细节解决边界区域的分割问题。我们证明，Contextrast显著增强了语义分割网络的性能，在多个公共数据集（如Cityscapes、CamVid、PASCAL-C、COCO-Stuff和ADE20K）上优于最先进的对比学习方法，且在推理过程中不增加计算成本。
引用
@article{arxiv.2404.10633,
title = {Contextrast: Contextual Contrastive Learning for Semantic Segmentation},
author = {Changki Sung and Wanhee Kim and Jungho An and Wooju Lee and Hyungtae Lim and Hyun Myung},
journal= {arXiv preprint arXiv:2404.10633},
year = {2024}
}
备注
Accepted at CVPR 2024