EarthBridge：解决 4 多模态航空视图图像挑战翻译赛道的方案
计算机视觉与模式识别
2026-04-01 v2
摘要
在电子光学 (EO)、红外 (IR) 和合成孔径雷达 (SAR) 传感器之间进行跨模态图像到图像翻译，对综合性的多模态航空视图分析至关重要。然而，由于这些模态具有不同的电磁特征和几何特征，跨模态翻译极其困难。本文提出了 EarthBridge，一个为 4 多模态航空视图图像挑战 - 翻译 (MAVIC-T) 开发的高保真翻译框架。我们探讨了两种不同的方法：Diffusion Bridge Implicit Models (DBIM)，我们使用非马尔可夫式桥接过程对其进行泛化，以实现高质量的确定性采样；Contrastive Unpaired Translation (CUT)，该方法利用对比学习实现结构一致性。我们的 EarthBridge 框架采用通道拼接 UNet 去噪器，训练时使用 Karras 加权桥接比例和特殊的“启动噪声”初始化，以处理跨模态映射中固有的歧义性。我们在所有四个挑战任务 (SAR→EO, SAR→RGB, SAR→IR, RGB→IR) 上对这些方法进行评估，实现了卓越的空间细节和光谱精度。我们的解决方案获得了 0.38 的综合得分，在 MAVIC-T 排行榜上获得第二名。代码可在 https://github.com/Bili-Sakura/EarthBridge-Preview 提供。
引用
@article{arxiv.2603.06753,
title = {EarthBridge: A Solution for 4th Multi-modal Aerial View Image Challenge Translation Track},
author = {Zhenyuan Chen and Guanyuan Shen and Feng Zhang},
journal= {arXiv preprint arXiv:2603.06753},
year = {2026}
}
备注
accepted by CVPRW 2026