作为反问题的生成网络与分数小波散射网络
计算机视觉与模式识别
2020-07-29 v1 图像与视频处理
摘要
深度学习是机器学习方法与应用领域的热门研究课题。生成对抗网络（GAN）与变分自编码器（VAE）能够从高斯白噪声生成令人印象深刻的图片，但二者都难以训练，因为它们需要同时训练生成器（或编码器）与判别器（或解码器），容易造成训练不稳定。为解决或缓解 GAN 与 VAE 的同步训练困难问题，研究者近期提出了生成散射网络（GSN），其使用小波散射网络（ScatNet）作为编码器获取特征（或 ScatNet 嵌入），并使用卷积神经网络（CNN）作为解码器生成图像。GSN 的优势在于 ScatNet 的参数无需学习，其劣势在于 ScatNet 的表达能力略弱于 CNN，且主成分分析（PCA）这种降维方法在 GSN 训练中易导致过拟合，从而影响测试阶段的生成质量。为在保持 GSN 优势的同时进一步提升生成图像质量，本文提出生成分数散射网络（GFRSN），其使用更具表达力的分数小波散射网络（FrScatNet）代替 ScatNet 作为编码器获取特征（或 FrScatNet 嵌入），并使用与 GSN 类似的 CNN 作为解码器生成图像。此外，本文提出了一种名为特征图融合（FMF）的新降维方法以替代 PCA，从而更好地保留 FrScatNet 的信息，并讨论了图像融合对图像生成质量的影响。
引用
@article{arxiv.2007.14177,
title = {Generative networks as inverse problems with fractional wavelet scattering networks},
author = {Jiasong Wu and Jing Zhang and Fuzhi Wu and Youyong Kong and Guanyu Yang and Lotfi Senhadji and Huazhong Shu},
journal= {arXiv preprint arXiv:2007.14177},
year = {2020}
}
备注
27 pages, 13 figures, 6 tables