面向半监督语义分割的多视角关联一致性
计算机视觉与模式识别
2022-08-18 v1
摘要
半监督语义分割需要对未标注数据提供丰富而鲁棒的监督。一致性学习强制同一像素在不同增强视角下具有相似特征，这是一种鲁棒信号但忽略了与其他像素的关系。相比之下，对比学习考虑了丰富的成对关系，但为像素对分配二值正负监督信号可能是一个难题。本文取两者之长，提出多视角关联一致性（MVCC）学习：它考虑自关联矩阵中丰富的成对关系，并跨视角匹配这些矩阵以提供鲁棒监督。配合该关联一致性损失，我们提出一种视角一致的数据增强策略，以保证不同视角间像素-像素的对应。在两个数据集的一系列半监督设定下，我们报告了与最先进方法相比具有竞争力的精度。值得注意的是，在 Cityscapes 上，我们使用 1/8 标注数据取得了 76.8% 的 mIoU，仅比全监督上限低 0.6%。
引用
@article{arxiv.2208.08437,
title = {Multi-View Correlation Consistency for Semi-Supervised Semantic Segmentation},
author = {Yunzhong Hou and Stephen Gould and Liang Zheng},
journal= {arXiv preprint arXiv:2208.08437},
year = {2022}
}