关于变分自编码器的泛化能力注记：合成数据与过参数化的有效性如何？
机器学习
2024-12-24 v3 计算机视觉与模式识别
机器学习
摘要
变分自编码器（VAEs）是用于科学应用的深度概率模型。许多工作试图从概率方法的角度通过新的推断技术或训练流程来缓解此问题。在本文中，我们从深度学习的角度研究该问题，考察使用合成数据和过参数化对提升泛化性能的有效性。我们的动机来自：（1）近期关于日益增多的公开合成数据将改善还是损害当前训练的生成模型的讨论；（2）现代深度学习见解认为过参数化可改善泛化。我们的研究表明，在预训练扩散模型的样本上训练，以及在特定层使用更多参数，均能有效地缓解 VAE 中的过拟合，从而改善其泛化、摊销推断和鲁棒性表现。我们的研究在合成数据与缩放定律的当下时代提供了及时的见解。
引用
@article{arxiv.2310.19653,
title = {A Note on Generalization in Variational Autoencoders: How Effective Is Synthetic Data & Overparameterization?},
author = {Tim Z. Xiao and Johannes Zenn and Robert Bamler},
journal= {arXiv preprint arXiv:2310.19653},
year = {2024}
}
备注
11 pages + appendix; Published in TMLR (12/2024) - https://openreview.net/forum?id=bwyHf5eery