通过惩罚最优传输网络实现高效生成建模
机器学习
2025-01-08 v2 机器学习
应用统计
统计方法学
摘要
生成能够忠实模拟底层数据生成机制分布的合成数据具有重要意义。Wasserstein 生成对抗网络 (WGANs) 已成为执行此任务的重要工具；然而，由于极小极大公式的微妙平衡以及高维空间中 Wasserstein 距离的不稳定性，WGAN 常表现出模式坍塌这一病态现象。这导致生成的样本收敛于有限的输出集，无法充分捕捉真实分布的尾部行为。此类局限可能导致严重的下游后果。为此，我们提出了惩罚最优传输网络 (POTNet)，这是一种基于边缘惩罚 Wasserstein (MPW) 距离的通用深度生成模型。通过 MPW 距离，POTNet 有效利用低维边缘信息来指导联合分布的整体对齐。此外，我们的基于原问题的框架允许直接评估 MPW 距离，从而无需判别器网络。这种公式规避了对抗方法中固有的训练不稳定性，并避免了对大量参数调整的需求。我们推导了 MPW 损失泛化误差的非渐近界，并建立了 POTNet 学习的生成分布的收敛速率。我们的理论分析结合广泛的实证评估表明，POTNet 在准确捕捉底层数据结构（包括其尾部行为和次要模态）方面表现优异。此外，与最先进的替代方案相比，我们的模型在采样阶段实现了数量级的加速，从而能够进行计算高效的大规模合成数据生成。
引用
@article{arxiv.2402.10456,
title = {Efficient Generative Modeling via Penalized Optimal Transport Network},
author = {Wenhui Sophia Lu and Chenyang Zhong and Wing Hung Wong},
journal= {arXiv preprint arXiv:2402.10456},
year = {2025}
}
备注
54 pages, 12 figures