融合 Wasserstein-1 与 Wasserstein-2 proximals：通过良定义生成流实现鲁棒流形学习
机器学习
2024-07-17 v1 机器学习
统计计算
统计方法学
摘要
我们通过对 -divergences 施加 Wasserstein proximal 正则化，构建用于学习支持于低维流形上的分布的良定义连续时间生成流。Wasserstein-1 proximal 正则化 -divergences，以便可以比较奇异分布；而 Wasserstein-2 proximal 正则化生成流的路径，通过添加最优传输成本（即动能惩罚）实现。通过均场博弈理论，我们展示，两种 proximal 的结合对于构建良定义的生成流至关重要。生成流可通过均场博弈（MFG）的 optimality 条件进行分析，这是一套由 backward Hamilton-Jacobi (HJ) 和 forward continuity 偏微分方程（PDE）组成的系统，其解刻画了最优生成流。对于支持于低维流形的分布，MFG 理论表明，针对 HJ 终端条件的 Wasserstein-1 proximal 以及针对 HJ 动力学的 Wasserstein-2 proximal 都是必要的，以确保相应的 backward-forward PDE 系统是良定义的、具有唯一解且解的轨迹可保证线性。这意味着相应的生成流也是唯一的，可以鲁棒地学习，即使是高维在低维流形上支持的分布亦然。通过对连续时间流的对抗训练来学习生成流，这绕过了反向仿真的需求。我们通过在各种数据集和模型上进行实验，展示了该方法在生成高维图像方面的有效性，无需依赖自编码器或专用架构。
引用
@article{arxiv.2407.11901,
title = {Combining Wasserstein-1 and Wasserstein-2 proximals: robust manifold learning via well-posed generative flows},
author = {Hyemin Gu and Markos A. Katsoulakis and Luc Rey-Bellet and Benjamin J. Zhang},
journal= {arXiv preprint arXiv:2407.11901},
year = {2024}
}