基于半监督噪声重建生成对抗网络的星系图像翻译
计算机视觉与模式识别
2022-02-16 v1 天体物理仪器与方法
图像与视频处理
摘要
基于深度学习神经网络的图像到图像翻译，尤其是利用生成对抗网络(GANs)，是模拟天文图像最有力的方法之一。然而，当前工作局限于利用配对图像进行监督式翻译，且鲜有关于重建编码仪器与观测效应的噪声背景的讨论。这些局限可能对天体物理学的后续科学应用有害。因此，我们旨在发展利用非配对图像并在图像翻译中保留噪声特征的方法。本工作中，我们提出一种利用GANs的双向图像翻译模型，以半监督方式同时利用配对与非配对图像，并引入一个噪声仿真模块，能够学习并重建以高频特征为表征的噪声。通过在Sloan Digital Sky Survey (SDSS)与Canada France Hawaii Telescope Legacy Survey (CFHT)的多波段星系图像上实验，我们表明该方法有效恢复了全局与局部性质，并优于基准图像翻译模型。据我们所知，本工作是首次在天体物理研究中尝试应用半监督方法与噪声重建技术。
引用
@article{arxiv.2101.07389,
title = {Galaxy Image Translation with Semi-supervised Noise-reconstructed Generative Adversarial Networks},
author = {Qiufan Lin and Dominique Fouchez and Jérôme Pasquet},
journal= {arXiv preprint arXiv:2101.07389},
year = {2022}
}
备注
Accepted at ICPR 2020