云计算平台中基于深度学习的多源影像融合
分布式、并行与集群计算
2023-07-07 v1
摘要
鉴于不同遥感仪器所采集数据的高可用性，多光谱与高光谱图像（HSI）的数据融合是遥感中的一个重要课题。特别是，作为利用空间与光谱域的数据融合应用的超分辨率备受关注，因为其融合图像可用于提高分类与物体跟踪的精度。另一方面，遥感仪器获取的海量数据在数据存储、管理与预处理方面是一个关键问题。本文提出一种使用 Hadoop 和 Spark 的 Big Data Cloud 平台，用于存储、管理和处理遥感数据。此外，基于我们的数据格式，对参数 chunk size（块大小）进行了研究，以给出将该参数从 Hadoop 下载影像数据至 Spark 应用时合适的取值建议。我们还开发了一种基于长短期记忆（Long Short Term Memory）网络、以不同块大小训练的超分辨率图像替代方法。该方法融合高光谱与多光谱图像。结果，我们获得了高空间分辨率与高光谱分辨率的图像。实验结果表明，对于 64k 的块大小，从 Hadoop 下载数据至 Spark 应用平均需要 3.5 秒。所提出的超分辨率模型在所用数据集上分别提供了 0.98 和 0.907 的结构相似性指数。
引用
@article{arxiv.2307.03054,
title = {Multi-source imagery fusion using deep learning in a cloud computing platform},
author = {Carlos Theran and Michael Alvarez and Emmanuel Arzuaga and Heidy Sierra},
journal= {arXiv preprint arXiv:2307.03054},
year = {2023}
}