基于热力学启发网络的SAR到光学图像转换
计算机视觉与模式识别
2023-05-24 v1 图像与视频处理
摘要
合成孔径雷达（SAR）在遥感领域应用广泛，但难以被人眼视觉感知。近年来，SAR 到光学（S2O）图像转换方法为解译提供了有前景的解决方案。然而，由于光学图像与 SAR 图像之间存在巨大的域差异，这些方法生成的 optical 图像存在图像质量低和几何失真的问题。受 S2O 图像转换过程中像素与热场中分子之间类比的启发，本文提出了用于 SAR 到光学图像转换的热力学启发网络（S2O-TDN）。具体而言，我们根据热力学的三阶有限差分（TFD）方程设计了三阶有限差分（TFD）残差结构，使我们能够高效提取域间不变特征并促进非线性转换映射的学习。此外，我们利用热力学第一定律（FLT）设计了一个 FLT 引导分支，促进特征值从不稳定扩散状态到稳定状态的状态转变，旨在正则化特征扩散并在 S2O 图像转换过程中保留图像结构。S2O-TDN 遵循源自热力学理论的明确设计原则，并具有可解释性优势。在公开 SEN1-2 数据集上的实验表明，所提出的 S2O-TDN 优于当前方法，具有更精细的纹理和更高的定量结果。
引用
@article{arxiv.2305.13839,
title = {SAR-to-Optical Image Translation via Thermodynamics-inspired Network},
author = {Mingjin Zhang and Jiamin Xu and Chengyu He and Wenteng Shang and Yunsong Li and Xinbo Gao},
journal= {arXiv preprint arXiv:2305.13839},
year = {2023}
}