DiffusionSat：面向卫星影像的生成式基础模型
计算机视觉与模式识别
2024-05-28 v2 人工智能
机器学习
摘要
扩散模型在包括图像、语音和视频在内的多种模态上取得了 state-of-the-art 的结果。然而，现有模型并未针对遥感数据进行定制，而遥感数据广泛应用于环境监测和作物产量预测等重要应用中。卫星图像与自然图像存在显著差异——它们可以是多光谱的，且在时间上不规则采样——而基于网络图像训练的现有扩散模型并不支持它们。此外，遥感数据本质上是时空数据，需要基于描述文本或图像的传统方法所不支持的生成式条件任务。在本文中，我们提出了 DiffusionSat，这是迄今为止在公开可用的大型高分辨率遥感数据集集合上训练的最大生成式基础模型。由于卫星图像的描述文本稀缺，我们将地理定位等关联元数据作为条件信息纳入。我们的方法生成了逼真的样本，并可用于解决多种生成任务，包括时间生成、给定多光谱输入的超分辨率和图像修复。我们的方法优于以往用于卫星图像生成的 state-of-the-art 方法，并且是首个面向卫星影像的大规模生成式基础模型。项目网站可在此处找到：https://samar-khanna.github.io/DiffusionSat/
引用
@article{arxiv.2312.03606,
title = {DiffusionSat: A Generative Foundation Model for Satellite Imagery},
author = {Samar Khanna and Patrick Liu and Linqi Zhou and Chenlin Meng and Robin Rombach and Marshall Burke and David Lobell and Stefano Ermon},
journal= {arXiv preprint arXiv:2312.03606},
year = {2024}
}
备注
Published at ICLR 2024