面向作物类型语义分割的上下文-自对比预训练
计算机视觉与模式识别
2024-02-06 v3 机器学习
摘要
本文提出一种基于对比学习的全监督预训练方案，特别针对密集分类任务定制。所提出的上下文-自对比损失(Context-Self Contrastive Loss, CSCL)通过学习嵌入空间，利用训练样本中各位置与其局部上下文之间的相似性度量使语义边界凸显。针对卫星影像时间序列(SITS)的作物类型语义分割，我们发现地块边界处的性能是关键瓶颈，并阐释CSCL如何从根本上解决该问题，从而提升此任务的最先进(state-of-the-art)性能。此外，我们利用Sentinel-2 (S2)卫星任务影像，编译了据我们所知最大规模的、按作物类型与地块标识密集标注的SITS数据集，并连同数据生成流程一并公开。利用该数据，我们发现即便以最少预训练，CSCL也能改进所有相应基线，并给出一种超分辨率语义分割流程以获取更细粒度的作物类别。代码与数据下载说明见 https://github.com/michaeltrs/DeepSatModels。
引用
@article{arxiv.2104.04310,
title = {Context-self contrastive pretraining for crop type semantic segmentation},
author = {Michail Tarasiou and Riza Alp Guler and Stefanos Zafeiriou},
journal= {arXiv preprint arXiv:2104.04310},
year = {2024}
}
备注
15 pages, 17 figures