CromSS：面向遥感图像分割的含噪标签跨模态预训练
计算机视觉与模式识别
2025-03-18 v3
摘要
我们探索了大规模含噪标签数据的潜力，通过在地理空间应用的多模态框架中预训练语义分割模型来增强特征学习。我们提出了一种新颖的跨模态样本选择（CromSS）方法，这是一种弱监督预训练策略，旨在通过跨模态一致性和噪声缓解技术来改善特征表示。与传统的预训练方法不同，CromSS 利用大量噪声且易于获取的标签来改进特征学习，这有利于语义分割任务。我们研究了中期和晚期融合策略，以优化多模态预训练架构设计。我们还引入了跨模态样本选择模块来减轻标签噪声的不利影响，该模块采用跨模态纠缠策略来细化每个模态内估计的置信度掩码，以指导采样过程。此外，我们引入了时空标签平滑技术来对抗过度自信，以增强对噪声标签的鲁棒性。为了验证我们的方法，我们构建了多模态数据集 NoLDO-S12，它由来自 Google 的 Dynamic World (DW) 数据集的大规模噪声标签子集用于预训练，以及来自 Google DW 和 OpenStreetMap (OSM) 的高质量标签的两个下游子集用于迁移学习。在两个下游任务和公开的 DFC2020 数据集上的实验结果表明，如果有效利用，低成本的噪声标签可以显著增强分割任务的特征学习。所有数据、代码和预训练权重将公开发布。
引用
@article{arxiv.2405.01217,
title = {CromSS: Cross-modal pre-training with noisy labels for remote sensing image segmentation},
author = {Chenying Liu and Conrad Albrecht and Yi Wang and Xiao Xiang Zhu},
journal= {arXiv preprint arXiv:2405.01217},
year = {2025}
}
备注
The 1st short version was accepted as an oral presentation by ICLR 2024 ML4RS workshop. The 2nd extended version was accepted by IEEE TGRS