面向语义分割的对比预训练对含噪正样本对具有鲁棒性
计算机视觉与模式识别
2024-10-28 v2
摘要
对比学习的领域特定变体可以从两张不同的领域内图像构建正样本对，而传统方法仅对同一图像进行两次增强。例如，我们可以用两张在不同时刻拍摄同一地点的卫星图像组成一个正样本对。理想情况下，这能教会模型忽略由季节、天气条件或图像采集伪影引起的变化。然而，与传统对比方法不同，由于我们在无人工监督的情况下构建正样本对，这可能导致不期望的正样本对。例如，一个正样本对可能由灾害前和灾害后的两张图像组成。这可能会教模型忽略完好建筑与受损建筑之间的差异，而这或许正是我们想在下游任务中检测的内容。类似于假负样本对，这可能会阻碍模型性能。关键在于，在此设定下仅图像的部分区域存在相关差异，而其他部分保持相似。令人惊讶的是，我们发现下游语义分割要么对此类错误匹配的样本对具有鲁棒性，要么甚至从中受益。实验在遥感数据集 xBD 以及一个我们可以完全控制配对条件的合成分割数据集上进行。因此，实践者可以使用这些领域特定的对比方法，而无需事先过滤其正样本对，甚至可能被鼓励在预训练数据集中有意纳入此类样本对。
引用
@article{arxiv.2211.13756,
title = {Contrastive pretraining for semantic segmentation is robust to noisy positive pairs},
author = {Sebastian Gerard and Josephine Sullivan},
journal= {arXiv preprint arXiv:2211.13756},
year = {2024}
}
备注
This work has been submitted to the IEEE for possible publication. Compared to the previous version, large-scale changes were made to make the paper easier to understand for people less familiar with contrastive learning and to make it easier to follow certain arguments. 10 pages, 9 figures