由Fisher信息正则化的平均场优化问题
概率论
2023-07-25 v2 机器学习
摘要
近来，平均场优化研究日益受到关注，尤其是因其在神经网络训练分析中的作用。本文通过加入Fisher信息作为正则化项，将正则化平均场优化问题与所谓的平均场薛定谔动力学联系起来。我们发展了一种能量耗散方法，证明平均场薛定谔动力学的边缘分布以指数速度收敛到该正则化优化问题的唯一极小元。值得注意的是，平均场薛定谔动力学被证明是关于相对熵的概率测度空间上的梯度流。最后我们提出了一种蒙特卡洛方法来对平均场薛定谔动力学的边缘分布进行采样。
引用
@article{arxiv.2302.05938,
title = {Mean Field Optimization Problem Regularized by Fisher Information},
author = {Julien Claisse and Giovanni Conforti and Zhenjie Ren and Songbo Wang},
journal= {arXiv preprint arXiv:2302.05938},
year = {2023}
}