用于生成建模的均值场博弈实验室
机器学习
2023-10-25 v5 机器学习
摘要
我们展示了均值场博弈(MFGs)作为一种数学框架在解释、增强和设计生成模型方面的多功能性。在生成流中,采用拉格朗日表述,其中每个粒子(生成的样本)旨在使其模拟路径上的损失函数最小化。然而,该损失依赖于其他粒子的路径,这导致了粒子群体之间的竞争。这种竞争的渐近行为产生了一个均值场博弈。我们建立了 MFGs 与主要类别的生成流和扩散之间的联系,包括连续时间归一化流、基于分数的生成模型(SGM)和 Wasserstein 梯度流。此外,我们通过研究各生成模型关联的 MFG 的最优性条件(一组耦合的前向-后向非线性偏微分方程)来研究其数学性质。由 MFG 最优性条件描述的数学结构揭示了生成流的归纳偏置。我们研究了归一化流的适定性与结构,揭示了 SGMs 的数学结构,并推导了 Wasserstein 梯度流的 MFG 表述。从算法角度看,最优性条件为增强生成模型训练提供了 Hamilton-Jacobi-Bellman(HJB)正则化项。特别地,我们提出并展示了一个 HJB 正则化的 SGM,其性能优于标准 SGMs。我们将此框架作为一个 MFG 实验室呈现,作为揭示生成模型实验与新发明途径的平台。
引用
@article{arxiv.2304.13534,
title = {A mean-field games laboratory for generative modeling},
author = {Benjamin J. Zhang and Markos A. Katsoulakis},
journal= {arXiv preprint arXiv:2304.13534},
year = {2023}
}
备注
56 pages, 10 figures. Version 5 has a slightly modified version of the normalizing flow and improved introduction and conclusions