基于凸生成对抗神经网络的 Brenier 势函数学习
机器学习
2025-04-29 v1 计算机视觉与模式识别
摘要
Brenier 证明了在源概率度量和目标概率度量满足某些条件时，存在严格凸函数，其梯度是从源分布到目标分布的传递映射。该函数称为 Brenier 势函数。此外，关于 Brenier 势函数 H"older 正则性的详细信息已知。本文发展了学习生成对抗神经网络以学习 Brenier 势函数的统计学习理论。由于由密度变换公式可知，生成度量的密度取决于 Brenier 势函数的二阶导数，我们发展了具有三次激活函数 的 ReCU 网络的通用逼近理论，该理论将 H"older 函数的有利逼近特性与 Lipschitz 连续密度相结合。为了确保网络的凸性，我们引入了一种对由 ReCU 网络表示的势函数进行对抗训练的程序，该程序将经典判别器交叉熵损失与一个强制（严格）凸性的惩罚项相结合。我们对学习误差进行详细分解，证明在适当的高惩罚参数下，所有在对抗最小最大优化问题中选择的网络都是严格凸的。进一步利用这一点，我们证明了该学习程序在网络容量逐渐扩大时具有一致性。我们还实现了所描述的学习算法，并将其应用于从高斯混合到图像数据等标准测试案例。正如理论所预测，我们观察到凸性损失在训练过程中变得不活跃，由神经网络表示的势函数已学习了凸性。
引用
@article{arxiv.2504.19779,
title = {Learning Brenier Potentials with Convex Generative Adversarial Neural Networks},
author = {Claudia Drygala and Hanno Gottschalk and Thomas Kruse and Ségolène Martin and Annika Mütze},
journal= {arXiv preprint arXiv:2504.19779},
year = {2025}
}