通过聚合学习到的高斯后验与解耦解码器训练 β-VAE
计算机视觉与模式识别
2022-09-30 v1
摘要
变分自编码器（VAE）中的重构损失与Kullback-Leibler散度（KLD）损失常扮演对抗角色，且在 -VAE 中调整KLD损失的权重以实现两损失间的平衡是一项棘手且依赖数据集的任务。因此，若权重 未仔细调优，当前VAE训练实践常在重构保真度与潜空间连续性（解耦）之间折中。本文中，我们给出两种损失对抗机制的直观理解与细致分析，并基于这些洞见提出一种简单而有效的两阶段VAE训练方法。具体而言，该方法将学习到的高斯后验 与一个从KLD损失解耦的解码器聚合，该解码器被训练以学习输入数据 的新条件分布 。实验上，我们表明聚合VAE最大程度满足关于潜空间的高斯假设，同时仍达到仅由 松散正则化潜空间时的重构误差。所提方法无需像常见VAE训练实践那样针对特定数据集调超参数（即KLD权重 ）。我们使用一个用于3D颅骨重建与形状补全的医学数据集评估该方法，结果表明用所提方法训练的VAE具有可观的生成能力。此外，通过对潜变量的引导操控，我们建立了现有基于自编码器（AE）的方法与生成式方法（如VAE）在形状补全问题上的联系。代码与预训练权重见 https://github.com/Jianningli/skullVAE
引用
@article{arxiv.2209.14783,
title = {Training \beta-VAE by Aggregating a Learned Gaussian Posterior with a Decoupled Decoder},
author = {Jianning Li and Jana Fragemann and Seyed-Ahmad Ahmadi and Jens Kleesiek and Jan Egger},
journal= {arXiv preprint arXiv:2209.14783},
year = {2022}
}