COP-GEN-Beta：用于 COPernicus 影像缩略图的统一生成模型
图形学
2025-04-16 v2 计算机视觉与模式识别
摘要
在遥感领域，来自各种传感器捕获同一场景的多模态数据提供了丰富的机遇，但在这些模态之间学习统一表示仍然是一个重大的挑战。传统方法往往仅限于单模态或双模态方法。本文我们引入 COP-GEN-Beta，这是一个训练于光学、雷达和 elevation 数据的生成扩散模型，数据来自 Major TOM 数据集。COP-GEN-Beta 的独特之处在于其能够将任意子集的模态映射到任意其他模态，从而在训练后实现零样本模态转换。这通过一种基于序列的扩散变换器实现，其中每个模态由其自己的时间步嵌入控制。我们在 Major TOM 数据集上的缩略图图像上对 COP-GEN-Beta 进行了广泛评估，展示了其在生成高质量样本方面的有效性。定性和定量评估均验证了该模型的性能，突显了其作为未来遥感任务强大预训练模型的潜力。
关键词
引用
@article{arxiv.2504.08548,
title = {COP-GEN-Beta: Unified Generative Modelling of COPernicus Imagery Thumbnails},
author = {Miguel Espinosa and Valerio Marsocci and Yuru Jia and Elliot J. Crowley and Mikolaj Czerkawski},
journal= {arXiv preprint arXiv:2504.08548},
year = {2025}
}
备注
Accepted at CVPR 2025 Workshop MORSE