SA-MixNet: 结构感知的混合与不变性学习用于遥感图像中涂鸦监督的道路提取
计算机视觉与模式识别
2024-03-05 v1
摘要
主流的弱监督道路提取器依赖于从涂鸦传播的高置信度伪标签，其性能常因图像场景变化而逐渐退化。我们认为这种退化是由于模型对不同复杂度场景的不变性较差，而现有解决方案通常基于无法从涂鸦中推导出的精心设计的先验。为了消除对此类先验的依赖，我们提出了一种新颖的结构感知混合与不变性学习框架（SA-MixNet），用于弱监督道路提取，以数据驱动的方式提高模型不变性。具体来说，我们设计了一种结构感知的混合方案，将一张图像中的道路区域粘贴到另一张图像上，以创建复杂度增加的图像场景，同时保持道路的结构完整性。然后，对构建图像和原始图像的预测施加不变性正则化，以最小化它们的冲突，从而迫使模型在各种场景下表现一致。此外，设计了一种基于判别器的正则化来增强连通性同时保持道路结构。结合这些设计，我们的框架在DeepGlobe、Wuhan和Massachusetts数据集上表现出优越性能，在IoU指标上分别比最先进技术高出1.47%、2.12%和4.09%，并展示了其即插即用的潜力。代码将公开提供。
引用
@article{arxiv.2403.01381,
title = {SA-MixNet: Structure-aware Mixup and Invariance Learning for Scribble-supervised Road Extraction in Remote Sensing Images},
author = {Jie Feng and Hao Huang and Junpeng Zhang and Weisheng Dong and Dingwen Zhang and Licheng Jiao},
journal= {arXiv preprint arXiv:2403.01381},
year = {2024}
}