Exact: 探索卫星图像时序语义分割的空间时间感知线索
计算机视觉与模式识别
2024-12-06 v1
摘要
通过卫星图像时序（SITS）进行作物自动化映射已成为农业监测与管理的关键途径。然而，由于低分辨率和 parcel 边界不清晰，在 SITS 上进行像素级标注异常复杂且耗时。本文采用弱监督范式（即仅提供图像级类别）来解放作物映射任务，摆脱繁琐的标注负担。SITS 的独特特征在弱监督学习中引发若干挑战：（1）来自空间相邻区域的噪声扰动，（2）来自异常时期的错误语义偏差。为解决上述问题，我们提出了一种新方法，称为探索空间时间感知线索（Exact）。首先，我们引入一组空间线索，显式捕获不同作物从最具代表性区域的模式。此外，我们利用模型的时间到类别的相互作用，以强化关键片段的贡献，从而增强模型对作物区域的感知能力。基于空间时间感知线索，我们派生出基于线索的 CAM，以有效监督 SITS 分割网络。我们的方法在 various SITS 基准数据集上表现突出。值得注意的是，使用 Exact 生成的分割网络掩码可达到其 fully supervised 性能的 95%，显示出弱监督范式在作物映射场景中的广阔前景。我们的代码将公开提供。
引用
@article{arxiv.2412.03968,
title = {Exact: Exploring Space-Time Perceptive Clues for Weakly Supervised Satellite Image Time Series Semantic Segmentation},
author = {Hao Zhu and Yan Zhu and Jiayu Xiao and Tianxiang Xiao and Yike Ma and Yucheng Zhang and Feng Dai},
journal= {arXiv preprint arXiv:2412.03968},
year = {2024}
}
备注
Under review. Code will be available at https://github.com/MiSsU-HH/Exact