LD-GAN：基于方差正则化的低维生成对抗网络用于光谱图像生成
计算机视觉与模式识别
2023-05-02 v1 图像与视频处理
摘要
深度学习方法在光谱图像（SI）计算任务中处于最先进水平。然而，由于可用数据集有限（采集极其昂贵且耗时长久），这些方法性能受限。通常采用数据增强技术来缓解数据匮乏。超越几何变换等经典增强方法，GAN通过从数据分布中学习并采样实现了多样化增强。尽管如此，基于GAN的SI生成具有挑战性，因为此类数据的高维特性阻碍了GAN训练的收敛，导致次优生成。为克服该限制，我们提出低维GAN（LD-GAN），其中我们利用预训练自编码器网络潜空间中的数据集低维表示来训练GAN。由此，我们生成新的低维样本，再通过预训练解码器网络映射回SI维度。此外，我们提出一种统计正则化，以控制自编码器训练的低维表示方差，并实现GAN生成样本的高多样性。我们将LD-GAN作为数据增强策略在压缩光谱成像、SI超分辨率和RGB到光谱任务上进行了验证，各项任务分别获得0.5至1 [dB]的提升。我们与无数据增强训练、传统DA以及经调整并训练用于生成全尺寸SI的同类GAN进行了比较。本文代码见 https://github.com/romanjacome99/LD_GAN.git
引用
@article{arxiv.2305.00132,
title = {LD-GAN: Low-Dimensional Generative Adversarial Network for Spectral Image Generation with Variance Regularization},
author = {Emmanuel Martinez and Roman Jacome and Alejandra Hernandez-Rojas and Henry Arguello},
journal= {arXiv preprint arXiv:2305.00132},
year = {2023}
}
备注
This paper was accepted at the LatinX in Computer Vision Research Workshop at CVPR2023