通过对抗一致性蒸馏加速SAR到光学图像翻译
计算机视觉与模式识别
2024-07-09 v1 图像与视频处理
摘要
合成孔径雷达（SAR）具有全天候、高分辨率的成像能力，但其独特的成像机制通常需要专家解读，限制了其广泛应用。使用扩散模型将SAR图像翻译为更易识别的光学图像有助于应对这一挑战。然而，扩散模型由于需要大量迭代推理而存在高延迟问题，而生成对抗网络（GAN）只需单次迭代即可实现图像翻译，但通常以牺牲图像质量为代价。为克服这些问题，我们提出了一种新的SAR到光学图像翻译训练框架，该框架结合了两种方法的优势。我们的方法采用一致性蒸馏来减少迭代推理步骤，并集成对抗学习以确保图像清晰度并最小化色彩偏移。此外，我们的方法允许在质量和速度之间进行权衡，从而根据应用需求提供灵活性。我们在SEN12和GF3数据集上进行了实验，使用峰值信噪比（PSNR）、结构相似性指数（SSIM）和弗雷歇初始距离（FID）进行定量评估，并计算了推理延迟。结果表明，我们的方法在保持生成图像视觉质量的同时，将推理速度显著提升了131倍，从而为SAR到光学图像翻译提供了一种鲁棒且高效的解决方案。
引用
@article{arxiv.2407.06095,
title = {Accelerating Diffusion for SAR-to-Optical Image Translation via Adversarial Consistency Distillation},
author = {Xinyu Bai and Feng Xu},
journal= {arXiv preprint arXiv:2407.06095},
year = {2024}
}