中文

C-DiffSET:基于潜在扩散的SAR至EO图像翻译 with Confidence-Guided Reliable Object Generation

计算机视觉与模式识别 2025-03-11 v3 图像与视频处理

摘要

合成孔径雷达(SAR)图像提供了稳健的环境和时序覆盖(例如在云层、季节、昼夜循环期间),但其噪声和独特的结构模式给图像解释带来挑战,尤其是对于非专家而言。SAR至EO(电气-光学)图像翻译(SET)已涌现出以使SAR图像更具感知可解释性。然而,传统方法在有限的SAR-EO数据集上从头训练,容易出现过拟合。为此,我们引入基于置信度的扩散方法,称为C-DiffSET,一种利用广泛在自然图像上预训练的潜在扩散模型(LDM)的框架,从而有效适应EO领域。我们发现,预训练的VAE编码器即使在SAR输入噪声水平变化的情况下,也能在相同的潜在空间中对齐SAR和EO图像。为进一步提高SET的像素级保真度,我们提出了置信度引导的扩散(C-Diff)损失,以缓解因时序差异导致的伪影,如对象出现或消失,从而增强结构准确性。C-DiffSET 在多个数据集上实现了最先进(SOTA)结果,显著优于最新的图像到图像翻译方法和SET方法。

关键词

引用

@article{arxiv.2411.10788,
  title  = {C-DiffSET: Leveraging Latent Diffusion for SAR-to-EO Image Translation with Confidence-Guided Reliable Object Generation},
  author = {Jeonghyeok Do and Jaehyup Lee and Munchurl Kim},
  journal= {arXiv preprint arXiv:2411.10788},
  year   = {2025}
}

备注

Please visit our project page https://kaist-viclab.github.io/C-DiffSET_site/