中文

EO-VAE:面向地球观测数据的多传感器标记化器

计算机视觉与模式识别 2026-03-04 v2

摘要

最新生成式图像和视频模型依赖于标记化器,将高维输入压缩为更高效的潜在表示。虽然这一范式在 RGB 生成方面取得了革命性进展,但地球观测(EO)数据因多样化的传感器规格和可变光谱通道而面临独特挑战。我们提出了 EO-VAE,一种为 EO 领域设计的多传感器变分自编码器,用作基础标记化器。不同于针对每种模态训练独立标记化器的先前方法,EO-VAE 通过动态超网络对编码和重构灵活的通道组合进行处理。我们在 TerraMesh 数据集上的实验表明,EO-VAE 在复原保真度方面优于 TerraMind 标记化器,为遥感领域的潜在生成式建模奠定了稳健基线。

关键词

引用

@article{arxiv.2602.12177,
  title  = {EO-VAE: Towards A Multi-sensor Tokenizer for Earth Observation Data},
  author = {Nils Lehmann and Yi Wang and Zhitong Xiong and Xiaoxiang Zhu},
  journal= {arXiv preprint arXiv:2602.12177},
  year   = {2026}
}