远程扩散
计算机视觉与模式识别
2024-05-09 v1
摘要
我探索了将 Stable Diffusion v1.5 适用于遥感领域的卫星和航空图像生成。鉴于现有模型如 Midjourney 和 Stable Diffusion 的局限性——它们主要在自然 RGB 图像上进行训练，缺乏遥感语境——我使用 RSICD 数据集训练了一个 Stable Diffusion 模型，其损失值为 0.2。我采用数据集中的描述性标题进行文本条件化。此外，我创建了一个用于土地利用/土地覆盖分类（LULC）任务的合成数据集，采用 RAG 和 ChatGPT 的提示技术，对微调了一个专用的遥感 LLM。然而，我面临着提示质量和模型性能的挑战。在合成数据集上训练的分类模型（ResNet18）在 TorchGeo 中实现了 49.48% 的测试准确率，以建立基线。通过 FID 分数和领域专家的定性反馈对生成的图像和数据集的真实性和质量进行了量化评估。尽管进行了广泛的微调和数据集迭代，结果表明图像质量和真实性仍不理想，体现在较高的 FID 分数和领域专家评估之中。这些发现呼吁关注扩散模型在遥感领域的潜力，同时凸显了预训练数据不足和计算资源有限的显著挑战。
引用
@article{arxiv.2405.04717,
title = {Remote Diffusion},
author = {Kunal Sunil Kasodekar},
journal= {arXiv preprint arXiv:2405.04717},
year = {2024}
}