面向农业语义分割中不完整卫星图像时间序列的特征重建与预测联合学习框架
计算机视觉与模式识别
2025-05-27 v1
摘要
卫星图像时间序列(SITS)对农业语义分割至关重要。然而,云污染在 SITS 中引入了时间间隙,破坏了时间依赖性并导致特征偏移,使得在完整 SITS 上训练的模型性能下降。现有方法通常通过在预测前重建整个 SITS,或使用数据增强来模拟缺失数据以解决此问题。然而,完整重建可能会引入噪声和冗余,而数据增强模型只能处理有限的缺失模式,导致泛化能力差。我们提出了一个特征重建与预测的联合学习框架,以更有效地处理不完整的 SITS。在训练期间,我们使用时间掩码模拟数据缺失场景。这两个任务由真实标签和在完整 SITS 上训练的教师模型共同指导。预测任务约束模型从掩码输入中选择性地重建与教师的时间特征表示对齐的关键特征。这减少了不必要的重建并限制了噪声传播。通过将重建特征整合到预测任务中,模型避免了学习捷径,并保持了处理各种缺失模式和完整 SITS 的能力。在湖南省、法国西部和加泰罗尼亚的 SITS 上的实验表明,与基线相比,我们的方法在农田提取中的平均 F1 分数提高了 6.93%,在作物分类中提高了 7.09%。它还在不同的时间缺失率和模型骨干网络下,在包括 Sentinel-2 和 PlanetScope 在内的卫星传感器上表现出良好的泛化能力。
引用
@article{arxiv.2505.19159,
title = {A Joint Learning Framework with Feature Reconstruction and Prediction for Incomplete Satellite Image Time Series in Agricultural Semantic Segmentation},
author = {Yuze Wang and Mariana Belgiu and Haiyang Wu and Dandan Zhong and Yangyang Cao and Chao Tao},
journal= {arXiv preprint arXiv:2505.19159},
year = {2025}
}