基于校准解码器的简洁高效 VAE 训练
机器学习
2021-07-13 v3 计算机视觉与模式识别
图像与视频处理
机器学习
摘要
变分自编码器（VAEs）为建模复杂分布提供了一种有效且简单的方法。然而，训练 VAE 通常需要进行大量超参数调优，以确定潜变量所保留信息的最优量。我们研究了校准解码器（学习解码分布的不确定性并自动确定该信息量）对 VAE 性能的影响。尽管已提出许多学习校准解码器的方法，但近期许多采用 VAE 的论文仍依赖启发式超参数和临时修改。我们首次对校准解码器进行了全面的对比分析，并为简洁高效的 VAE 训练提供了建议。我们的分析涵盖一系列图像与视频数据集以及若干单图像与序列 VAE 模型。我们进一步对常用的高斯解码器提出了一种简单而新颖的修改，可解析地计算预测方差。我们通过实验观察到，使用我们的方法无需启发式修改。项目网站位于 https://orybkin.github.io/sigma-vae/
引用
@article{arxiv.2006.13202,
title = {Simple and Effective VAE Training with Calibrated Decoders},
author = {Oleh Rybkin and Kostas Daniilidis and Sergey Levine},
journal= {arXiv preprint arXiv:2006.13202},
year = {2021}
}
备注
International Conference on Machine Learning (ICML), 2021. Project website is at https://orybkin.github.io/sigma-vae/