SatDM：基于扩散模型利用语义布局条件合成逼真卫星图像
计算机视觉与模式识别
2023-10-02 v1 图像与视频处理
摘要
地球观测领域的深度学习模型严重依赖大规模精确标注的卫星影像的可用性。然而，获取并标注卫星影像是一项资源密集型工作。虽然生成模型为解决数据稀缺提供了一种有前景的方案，但其潜力仍未被充分挖掘。近来，去噪扩散概率模型(DDPMs)在从语义布局合成逼真图像方面展现出显著潜力。本文实现了一个条件 DDPM 模型，能够接收语义图并生成高质量、多样化且对应准确的卫星图像。此外，我们给出了优化动态的详尽说明。所提方法集成了方差学习、无分类器引导和改进噪声调度等前沿技术。去噪网络架构进一步辅以自适应归一化与自注意力机制，增强了模型能力。我们使用本研究引入的一个精细标注数据集验证了所提模型的有效性。验证涵盖 Frechet Inception Distance (FID) 和 Intersection over Union (IoU) 等算法方法，以及一项人类主观评价研究。我们的结果表明，生成样本与真实样本偏差极小，为数据增强等实际应用打开了大门。我们期待在更广泛的场景与数据模态中进一步探索 DDPMs。算法的开源参考实现及基准数据集链接见 https://github.com/obaghirli/syn10-diffusion。
引用
@article{arxiv.2309.16812,
title = {SatDM: Synthesizing Realistic Satellite Image with Semantic Layout Conditioning using Diffusion Models},
author = {Orkhan Baghirli and Hamid Askarov and Imran Ibrahimli and Ismat Bakhishov and Nabi Nabiyev},
journal= {arXiv preprint arXiv:2309.16812},
year = {2023}
}
备注
14 pages, 4 figures