利用深度学习文本到图像模型生成合成卫星图像——技术挑战及其对监测与核查的影响
计算机视觉与模式识别
2024-04-12 v1 人工智能
人机交互
机器学习
摘要
新颖的深度学习（DL）架构已达到能够生成难以与真实数据区分的数字媒体（包括照片般逼真的图像）的水平。这些技术已被用于为机器学习（ML）模型生成训练数据，而像DALL-E 2、Imagen和Stable Diffusion这样的大型文本到图像模型在逼真的高分辨率图像生成方面正取得显著成果。鉴于这些发展，监测与核查中的数据认证问题值得仔细和系统的分析：合成图像有多逼真？它们能多容易地被生成？它们对ML研究人员有多大用处，以及它们在开放科学中的潜力如何？在这项工作中，我们使用新颖的DL模型来探索如何使用条件机制创建合成卫星图像。我们研究了合成卫星图像生成的挑战，并基于真实性和最先进的指标评估了结果。此外，我们研究了合成数据如何在遥感ML方法的背景下缓解数据匮乏问题。最后，我们讨论了合成卫星图像在监测与核查背景下的影响。
引用
@article{arxiv.2404.07754,
title = {Generating Synthetic Satellite Imagery With Deep-Learning Text-to-Image Models -- Technical Challenges and Implications for Monitoring and Verification},
author = {Tuong Vy Nguyen and Alexander Glaser and Felix Biessmann},
journal= {arXiv preprint arXiv:2404.07754},
year = {2024}
}
备注
https://resources.inmm.org/annual-meeting-proceedings/generating-synthetic-satellite-imagery-deep-learning-text-image-models