松弛责任分层离散 VAE
机器学习
2021-02-05 v2 计算机视觉与模式识别
机器学习
摘要
成功训练具有离散潜变量层级结构的变分自编码器（VAEs）仍是一个活跃的研究领域。矢量量化 VAE 是离散 VAE 的一种强力方法，但朴素的分层扩展在训练时可能不稳定。利用经典推断方法的见解，我们引入了“松弛责任矢量量化”，一种参数化离散潜变量的新颖方式，是对松弛矢量量化的改进，可带来更好性能和更稳定的训练。这使得一种具有众多潜变量层（此处多达 32 层）的新型分层离散变分自编码器端到端训练方法成为可能。在端到端训练的具有离散潜变量的分层概率深度生成模型中，我们在多个标准数据集上取得了最先进的 bits-per-dim 结果。此外，我们观察到模型的不同层与数据的不同方面相关联。
引用
@article{arxiv.2007.07307,
title = {Relaxed-Responsibility Hierarchical Discrete VAEs},
author = {Matthew Willetts and Xenia Miscouridou and Stephen Roberts and Chris Holmes},
journal= {arXiv preprint arXiv:2007.07307},
year = {2021}
}
备注
10 Pages