基于分层残差学习的矢量量化变分自编码器用于图像重建与生成
计算机视觉与模式识别
2022-08-10 v1 机器学习
摘要
我们提出一种多层变分自编码器方法，称为 HR-VQVAE，可学习数据的分层离散表示。通过一种新颖的目标函数，HR-VQVAE 中的每一层借助矢量量化编码器学习前层残差的一种离散表示。此外，每层的表示与前层表示分层关联。我们在图像重建与生成任务上评估了该方法。实验结果表明，HR-VQVAE 学到的离散表示使解码器能以比基线方法（即 VQVAE 与 VQVAE-2）更小的失真重建高质量图像。HR-VQVAE 还能生成高质量且多样的图像，优于 SOTA 生成模型，进一步验证了所学表示的效率。HR-VQVAE 的分层特性 i) 减少了解码搜索时间，使该方法特别适用于高负载任务；ii) 允许增大码本尺寸而不引发码本坍缩问题。
引用
@article{arxiv.2208.04554,
title = {Hierarchical Residual Learning Based Vector Quantized Variational Autoencoder for Image Reconstruction and Generation},
author = {Mohammad Adiban and Kalin Stefanov and Sabato Marco Siniscalchi and Giampiero Salvi},
journal= {arXiv preprint arXiv:2208.04554},
year = {2022}
}
备注
12 pages plus supplementary material. Submitted to BMVC 2022