FusDreamer：面向多模态数据的标签高效遥感世界模型
计算机视觉与模式识别
2025-03-19 v1
摘要
世界模型显著提升了层次化理解，改善了数据集成和学习效率。为探索世界模型在遥感（RS）领域的潜力，本文提出一种用于多模态数据融合的标签高效遥感世界模型（FusDreamer）。FusDreamer 将世界模型作为统一的表示容器，用于抽象常见的高层次知识，促进不同类型数据（即高光谱（HSI）、激光扫描（LiDAR）和文本数据）之间的相互作用。初始时，利用一种新的潜在扩散融合和多模态生成范式（LaMG），其卓越的信息集成和细节保留能力。随后，一个开放式知识引导一致性投影（OK-CP）模块包含用于视觉描述对象的提示表示，并通过对比学习对齐语言-视觉特征。如此，即可通过针对有限样本对预训练世界模型进行微调来弥合领域差距。最后，一种端到端多任务组合优化（MuCO）策略可捕捉细微特征偏差，并在可协作学习的方向上约束扩散过程。在四个典型数据集上的实验表明，所提出的 FusDreamer 有效且具有优势。该项目代码将发布于 https://github.com/Cimy-wang/FusDreamer。
引用
@article{arxiv.2503.13814,
title = {FusDreamer: Label-efficient Remote Sensing World Model for Multimodal Data Classification},
author = {Jinping Wang and Weiwei Song and Hao Chen and Jinchang Ren and Huimin Zhao},
journal= {arXiv preprint arXiv:2503.13814},
year = {2025}
}