FLoRA：基于跨模态多任务蒸馏网络的融合潜空间用于光学重建与洪水区域分割
计算机视觉与模式识别
2026-05-05 v1 人工智能
摘要
准确的洪水水面映射对于灾害管理至关重要，但当前方法难以充分发挥卫星图像的潜力。光学数据提供高可解释性但受环境条件限制，而合成孔径雷达（SAR）提供可靠的全天候覆盖但可视性较低。FLoRA（Fusion Latent for Optical Reconstruction and Area Segmentation）是一个跨模态多任务框架，联合重建高保真光学图像并从 Sentinel 1 SAR 中分割洪水区域，融合光学和 SAR 数据的互补优势。在训练期间，轻量级光学教师（由 RGB 和 NDVI 先验驱动）提供金字塔特征，通过多尺度窗口化跨注意力和 FiLM 条件化引导 SAR 表示进入融合潜空间，带有门控残差防止过度纠正。该设计使跨两个互补目标的多任务学习成为可能：(a) SAR 到光学的翻译，用于细粒度 RGB 重建，(b) 洪水区域分割，用于水文解释。双解码器使用 Charbonnier SSIM 进行结构保真度优化，边缘 FFT 幅值损失实现光谱真实性，Dice BCE 水文感知边缘对齐实现精确的洪水水面描绘。特征蒸馏约束进一步对齐融合后的 SAR 特征与光学教师的流形。在 SEN1FLOODS11、DEEPFLOOD 和 SEN12MS 上的评估表明，FLoRA 在 PSNR、SSIM 和 LPIPS 上超越了融合基线，证明了在教师引导的潜空间内进行多模态融合可产生语义忠实且物理一致的从太空观测中获取的洪水水面智能。
引用
@article{arxiv.2605.02137,
title = {FLoRA: Fusion-Latent for Optical Reconstruction and Flood Area Segmentation via Cross-Modal Multi-Task Distillation Network},
author = {Jagrati Talreja and Tewodros Syum Gebre and Leila Hashemi-Beni},
journal= {arXiv preprint arXiv:2605.02137},
year = {2026}
}
备注
Submitted to the IEEE Journal