学习多颗卫星传感器的联合嵌入：以湖泊冰监测为例
计算机视觉与模式识别
2022-11-30 v2 图像与视频处理
摘要
融合不同传感器获取的卫星影像一直是地球观测中长期存在的挑战，尤其是跨越光学与合成孔径雷达（SAR）影像等不同模态时。在此，我们借助表示学习的视角探索不同传感器影像的联合分析：我们提出在深度神经网络中学习多颗卫星传感器的联合嵌入。我们的应用问题是阿尔卑斯山湖泊的湖冰监测。为满足瑞士全球气候观测系统（GCOS）办公室的时间分辨率要求，我们结合了三种图像源：Sentinel-1 SAR（S1-SAR）、Terra MODIS 和 Suomi-NPP VIIRS。光学与 SAR 域之间以及传感器分辨率之间的巨大鸿沟，使这成为传感器融合问题的一个极具挑战性的实例。我们的方法可归类为以数据驱动方式学习的后期融合。所提出的网络架构对每个图像传感器具有独立的编码分支，这些分支汇入单一的潜在嵌入。即，所有输入共享的通用特征表示，使得后续处理步骤无论使用何种输入图像都能给出可比的输出。通过融合卫星数据，我们以 < 1.5 天的时间分辨率绘制湖冰分布。该网络生成空间显式的湖冰图，像素级精度 > 91%（相应地，mIoU 分数 > 60%），并能很好地泛化到不同湖泊与不同冬季。此外，它在确定目标湖泊重要的结冰日与融冰日方面树立了新 state-of-the-art，在许多情况下满足 GCOS 要求。
引用
@article{arxiv.2107.09092,
title = {Learning a Joint Embedding of Multiple Satellite Sensors: A Case Study for Lake Ice Monitoring},
author = {Manu Tom and Yuchang Jiang and Emmanuel Baltsavias and Konrad Schindler},
journal= {arXiv preprint arXiv:2107.09092},
year = {2022}
}