多模态遥感图像的半监督流形对齐
计算机视觉与模式识别
2021-04-19 v1
摘要
我们提出一种用于不同模态（或域）遥感图像流形对齐的方法。当可获得一组多时相、多源、多传感器和多角度图像时，该问题频繁出现。在这些情况下，图像理想上应进行空间配准、校正并补偿图像域间的差异。此类流程需要用户交互、涉及众多参数与启发式规则的调参，且通常分开应用。传感器与获取条件的变化会导致图像分布（或流形）的偏移、扭曲、翘曲与折叠。所提出的半监督流形对齐（SS-MA）方法直接在各图像的流形上对其进行对齐，因此不限于具有相同分辨率（光谱或空间）的图像。SS-MA将同类样本拉近，同时将异类样本推远。同时，它在变换过程中保持各流形的几何结构。该方法构建到潜空间的可逆线性变换，使所有图像趋于一致，并归结为求解中等规模的广义特征值问题。我们在玩具示例以及真实多角度、多时相与多源图像分类问题中研究了SS-MA的性能。该方法在强形变下表现良好，并对所有域均实现准确分类。
引用
@article{arxiv.2104.07803,
title = {Semisupervised Manifold Alignment of Multimodal Remote Sensing Images},
author = {Devis Tuia and Michele Volpi and Maxime Trolliet and Gustau Camps-Valls},
journal= {arXiv preprint arXiv:2104.07803},
year = {2021}
}