一种利用 Transformer 固有图像块的对比学习方案

本文提出 Contrastive Transformer，一种利用 Transformer 固有图像块的对比学习方案。Contrastive Transformer 使常用于图像分类的现有对比学习技术能够惠及语义分割等密集下游预测任务。该方案执行有监督的块级对比学习，基于真值掩码选择图像块，随后用于难负样本和难正样本采样。该方案适用于所有视觉 Transformer 架构，易于实现，并引入极小的额外内存占用。此外，该方案消除了对巨大批量大小的需求，因为每个图像块被视为一幅图像。我们针对航空图像分割这一以低分辨率数据、大类不平衡和相似语义类著称的情况应用并测试了 Contrastive Transformer。我们进行了大量实验以展示 Contrastive Transformer 方案在 ISPRS Potsdam 航空图像分割数据集上的有效性。此外，我们通过将方案应用于多个本质不同的 Transformer 架构展示了其泛化性。最终，结果显示所有类别的平均 IoU 一致提升。