通过凸优化实现 Wasserstein 梯度方向的最优神经网络逼近
机器学习
2022-05-27 v1 最优化与控制
机器学习
摘要
Wasserstein 梯度方向的计算对于后验采样问题和科学计算至关重要。用有限样本逼近 Wasserstein 梯度需要求解一个变分问题。我们研究了带平方 ReLU 激活的两层网络族中的变分问题，并推导了其半定规划（SDP）松弛。该 SDP 可视为在包含两层网络的更宽函数族中对 Wasserstein 梯度的逼近。通过求解该凸 SDP，我们获得了此类函数中 Wasserstein 梯度方向的最优逼近。包括 PDE 约束贝叶斯推断和 COVID-19 建模中的参数估计在内的数值实验证明了所提方法的有效性。
引用
@article{arxiv.2205.13098,
title = {Optimal Neural Network Approximation of Wasserstein Gradient Direction via Convex Optimization},
author = {Yifei Wang and Peng Chen and Mert Pilanci and Wuchen Li},
journal= {arXiv preprint arXiv:2205.13098},
year = {2022}
}