稀有目标合成卫星图像：模型与指标的实证比较

生成式深度学习架构能够产生逼真的高分辨率假图像，具有巨大的社会影响潜力。一个关键问题是：针对特定图像内容，生成逼真图像有多容易？实现特定图像内容所需的迭代过程难以自动化和控制。尤其对于稀有类别，评估保真度（即生成方法是否产生逼真图像）仍然困难，意义在于生成如何受到人类输入的引导。在本工作中，我们对一系列生成式架构进行大规模实证评估，这些架构被微调用于生成合成卫星图像。我们以核电站作为稀有对象类别的示例——全球约有 400 座设施，该限制为许多其他场景提供了示例，其中训练和测试数据受限于真实世界示例的有限发生次数。通过对两种模态进行条件化生成合成图像：文本输入和来自允许详细指定建筑布局的游戏引擎获取的图像输入。所生成的图像通过常用自动评估指标进行评估，然后与我们进行的用户研究的人类判断进行比较，以评估其可信度。我们的结果表明，即使对于稀有对象，利用文本或详细建筑布局生成真实的合成卫星图像是可行的。与前一工作相符，我们发现自动化指标常常不与人类感知相符——事实上，我们发现常用图像质量指标与人类评分之间存在强烈的负相关。