深度学习中受控粒子系统的收敛性分析:从有限样本到无限样本
最优化与控制
2025-06-19 v3 机器学习
概率论
机器学习
摘要
本文处理一类神经随机微分方程(neural SDEs),并研究当样本量趋于无穷时相关采样最优控制问题的极限行为。具有 个样本的神经 SDEs 可与具有集中控制的 粒子系统相联系。我们分析了对应于 粒子系统的 Hamilton-Jacobi-Bellman 方程,并建立了关于 的一致正则性结果。该一致正则性估计是通过随机最大原理和倒向随机 Riccati 方程的分析获得的。利用这些一致正则性结果,我们证明了当样本量 趋于无穷时,神经 SDEs 目标泛函极小值与最优参数的收敛性。极限对象可由定义在 Borel 概率测度的 Wasserstein 空间上的适当函数来刻画。此外,还得到了定量的收敛速率。
引用
@article{arxiv.2404.05185,
title = {Convergence analysis of controlled particle systems arising in deep learning: from finite to infinite sample size},
author = {Huafu Liao and Alpár R. Mészáros and Chenchen Mou and Chao Zhou},
journal= {arXiv preprint arXiv:2404.05185},
year = {2025}
}
备注
46 pages