生成模型在高分辨率太阳观测成像中的比较研究
计算机视觉与模式识别
2023-04-17 v1 机器学习
摘要
太阳活动是我们太阳系中变化性的主要驱动因素之一，也是影响地球和近地空间的空间天气现象的关键来源。太阳动力学天文台 (SDO) 提供的大量高分辨率极紫外 (EUV) 观测记录提供了一个前所未有的、非常庞大的太阳图像数据集。在这项工作中，我们利用这一综合数据集研究当前最先进的生成模型准确捕捉观测到的太阳活动状态背后数据分布的能力。从基于 StyleGAN 的方法开始，我们揭示了该模型族在针对高分辨率样本训练时处理太阳图像精细尺度细节方面的严重缺陷，这与在自然人脸图像上训练的情况相反。当切换到基于扩散的生成模型族时，我们观察到精细尺度细节生成的显著改进。对于 GAN 族，当转向 ProjectedGANs（其使用具有预训练冻结特征提取器的多尺度判别器）时，我们能够实现精细尺度生成的类似改进。我们进行消融研究以阐明负责适当精细尺度处理的机制。利用超级计算机上的分布式训练，我们能够训练分辨率高达 1024x1024 的生成模型，其产生的高质量样本对人类专家而言难以区分，正如我们所进行的评估所表明的。我们在 \url{https://github.com/SLAMPAI/generative-models-for-highres-solar-images} 公开了本研究中使用的所有代码、模型和工作流。
引用
@article{arxiv.2304.07169,
title = {A Comparative Study on Generative Models for High Resolution Solar Observation Imaging},
author = {Mehdi Cherti and Alexander Czernik and Stefan Kesselheim and Frederic Effenberger and Jenia Jitsev},
journal= {arXiv preprint arXiv:2304.07169},
year = {2023}
}