CP2：用于语义分割的复制-粘贴对比预训练
计算机视觉与模式识别
2022-08-10 v2 人工智能
摘要
自监督对比学习的最新进展产生了良好的图像级表示，这有利于分类任务，但通常忽略了像素级的详细信息，导致向语义分割等密集预测任务的迁移性能不佳。在这项工作中，我们提出了一种名为 CP2（Copy-Paste Contrastive Pretraining，复制-粘贴对比预训练）的像素级对比学习方法，该方法促进了图像级和像素级的表示学习，因此更适合下游的密集预测任务。具体而言，我们从一幅图像中复制-粘贴随机裁剪（前景）到不同的背景图像上，并以此为目标预训练语义分割模型：1）将前景像素与背景像素区分开来，以及 2）识别共享相同前景的组合图像。实验表明了 CP2 在下游语义分割中的强大性能：通过在 PASCAL VOC 2012 上微调 CP2 预训练模型，我们使用 ResNet-50 获得了 78.6% 的 mIoU，使用 ViT-S 获得了 79.5% 的 mIoU。
引用
@article{arxiv.2203.11709,
title = {CP2: Copy-Paste Contrastive Pretraining for Semantic Segmentation},
author = {Feng Wang and Huiyu Wang and Chen Wei and Alan Yuille and Wei Shen},
journal= {arXiv preprint arXiv:2203.11709},
year = {2022}
}