基于指数散度族的β-变分自编码器广义线性模型框架
机器学习
2021-10-12 v3 机器学习
摘要
尽管变分自编码器(VAE)已成功用于获取高维数据有意义的低维表示，但针对一般观测模型的损失函数临界点的刻画尚未被充分理解。我们引入了一个基于β-VAE与广义线性模型(GLM)之间联系的理论框架。β-VAE的激活函数与GLM的链接函数之逆的等式，使我们能够基于观测模型分布属于指数散度族(EDF)的假设，对β-VAE的损失分析给出系统性推广。结果，我们可以通过最大似然估计(MLE)初始化β-VAE网络，从而提升在合成与真实世界数据集上的训练性能。作为进一步的结果，我们解析地描述了β-VAE目标中固有的自动剪枝性质，并解释了后验坍缩的原因。
引用
@article{arxiv.2006.06267,
title = {A Generalised Linear Model Framework for $\beta$-Variational Autoencoders based on Exponential Dispersion Families},
author = {Robert Sicks and Ralf Korn and Stefanie Schwaar},
journal= {arXiv preprint arXiv:2006.06267},
year = {2021}
}
备注
https://jmlr.org/papers/v22/21-0037.html