U-TILISE：一种用于光学卫星时间序列去云的序列到序列模型
计算机视觉与模式识别
2023-12-06 v3 图像与视频处理
摘要
光学和红外谱段的卫星图像时间序列由于云层覆盖、云影以及临时性传感器故障而频繁出现数据缺失。如何最佳地重建缺失像素值并获得完整无云的图像序列，一直是遥感研究中的长期问题。我们从表示学习的角度切入该问题，开发了U-TILISE，一种能够隐式捕获光谱强度时空模式的高效神经模型，因此可被训练用于将云掩膜输入序列映射为无云输出序列。该模型由卷积空间编码器（将输入序列的每一帧单独映射为潜在编码）、基于注意力的时序编码器（捕获这些逐帧编码间的依赖关系并使其沿时间维度交换信息）以及卷积空间解码器（将潜在嵌入解码回多光谱图像）组成。我们在EarthNet2021（一个覆盖全欧洲获取的Sentinel-2时间序列数据集）上对所提模型进行实验评估，证明了其优越的缺失像素重建能力。与标准插值基线相比，它在已观测位置将PSNR提高了1.8 dB，在未见位置提高了1.3 dB。
引用
@article{arxiv.2305.13277,
title = {U-TILISE: A Sequence-to-sequence Model for Cloud Removal in Optical Satellite Time Series},
author = {Corinne Stucker and Vivien Sainte Fare Garnot and Konrad Schindler},
journal= {arXiv preprint arXiv:2305.13277},
year = {2023}
}
备注
Published in the IEEE Transactions on Geoscience and Remote Sensing