基于掩码时空注意力网络的光学时序图像多尺度缺失数据恢复
计算机视觉与模式识别
2025-06-05 v2 图像与视频处理
摘要
遥感图像常因如厚雾和传感器局限等因素导致数据损失显著。现有方法在恢复遥感图像缺失值时未能充分利用时空辅助信息，这限制了重构结果的准确性。为此，本文提出一种新型深度学习方法，称为MS2TAN（Multi-Scale Masked Spatial-Temporal Attention Network），用于重构时序遥感图像。首先，引入基于掩码时空注意力（MSTA）的高效时空特征提取器，以捕获围绕缺失区域的时空邻域特征的高质量表征，同时显著降低注意力机制的计算复杂度。其次，设计由MSTA特征提取器构成的多尺度恢复网络，以不同尺度探索时空邻域特征，逐步细化缺失值。再次，提出一种“像素-结构-感知”多目标联合优化方法，从多个角度增强重构结果的视觉质量，并保留更多纹理结构。最后，在两个公开数据集上进行的多时序输入的定量实验表明，所提方法优于竞争方法，平均绝对误差（MAE）降低9.76%/9.30%，峰值信噪比（PSNR）提高0.56 dB/0.62 dB，并且纹理和结构一致性更强。消融实验进一步验证了核心创新对插值准确性的贡献。
引用
@article{arxiv.2406.13358,
title = {Multi-scale Restoration of Missing Data in Optical Time-series Images with Masked Spatial-Temporal Attention Network},
author = {Zaiyan Zhang and Jining Yan and Yuanqi Liang and Jiaxin Feng and Haixu He and Li Cao},
journal= {arXiv preprint arXiv:2406.13358},
year = {2025}
}