基于Transformer的潜空间流匹配收敛性分析
机器学习
2024-04-30 v2 机器学习
摘要
我们给出了基于常微分方程的生成模型（特别是流匹配）的理论收敛保证。我们使用预训练的自编码器网络将高维原始输入映射到低维潜空间，其中Transformer网络被训练来预测从标准正态分布到目标潜分布的变换的速度场。我们的误差分析证明了该方法的有效性，表明在温和且实际的假设下，通过估计的ODE流生成的样本分布以Wasserstein-2距离收敛到目标分布。此外，我们证明了任意光滑函数可以被具有Lipschitz连续性的Transformer网络有效逼近，这可能具有独立的意义。
引用
@article{arxiv.2404.02538,
title = {Convergence Analysis of Flow Matching in Latent Space with Transformers},
author = {Yuling Jiao and Yanming Lai and Yang Wang and Bokai Yan},
journal= {arXiv preprint arXiv:2404.02538},
year = {2024}
}