过参数化变分自编码器的收敛性分析：神经正切核视角
机器学习
2024-09-10 v1
摘要
变分自编码器（VAE）已成为生成任务的强大概率模型。然而，其收敛性尚未得到严格证明。由于训练目标的高度非凸性以及 VAE 架构中随机神经网络（SNN）的实现，证明其收敛性本身就极具挑战性。本文通过神经正切核（NTK）技术的视角，刻画了 VAE 中使用的 SNN 的优化轨迹，从而应对这些挑战。这些技术主导了超宽神经网络的优化与泛化行为。我们在温和的假设下提供了 VAE 收敛性的数学证明，从而推进了对 VAE 优化动力学的理论理解。此外，我们建立了过参数化 SNN 所面临的优化问题与核岭回归（KRR）问题之间的一种新颖联系。我们的发现不仅为 VAE 的理论基础做出了贡献，也为利用先进核方法研究生成模型的优化开辟了新途径。我们的理论主张已通过实验模拟得到验证。
引用
@article{arxiv.2409.05349,
title = {On the Convergence Analysis of Over-Parameterized Variational Autoencoders: A Neural Tangent Kernel Perspective},
author = {Li Wang and Wei Huang},
journal= {arXiv preprint arXiv:2409.05349},
year = {2024}
}
备注
Accepted by Machine Learning journal