基于生成对抗网络的天文图像着色与超分辨率重建
图像与视频处理
2021-12-30 v1 天体物理仪器与方法
计算机视觉与模式识别
机器学习
摘要
在无人工干预的情况下自动为图像着色，已是机器学习领域短期内备受关注的话题。由于着色问题本身具有高度自由度，为其赋予颜色是一个高度不适定问题；给定一幅图像，往往不存在唯一正确的色彩组合。除着色外，图像重建中的另一问题是单图像超分辨率，旨在将低分辨率图像转换为高分辨率图像。本研究针对一类特定图像域即天文图像，利用生成对抗网络（GANs）进行处理，为上述问题提供自动化方法。我们在RGB与L*a*b两种不同色彩空间中探究多种模型的用法。由于数据集较小，我们采用迁移学习，使用预训练的ResNet-18作为骨干网络（即U-net的编码器）并进一步微调。该模型生成视觉上引人注目的图像，在这些结果中幻觉出原始图像中并不存在的高分辨率着色数据。我们通过L1距离与L2距离在各色彩空间所有通道上的距离度量对GANs进行定量评估以提供对比分析，并给出结果。我们使用Frechet inception distance（FID）比较生成图像分布与真实图像分布以评估模型性能。
引用
@article{arxiv.2112.13865,
title = {Astronomical Image Colorization and upscaling with Generative Adversarial Networks},
author = {Shreyas Kalvankar and Hrushikesh Pandit and Pranav Parwate and Atharva Patil and Snehal Kamalapur},
journal= {arXiv preprint arXiv:2112.13865},
year = {2021}
}
备注
14 pages, 10 figures, 7 tables