中文

深度学习中受控粒子系统的收敛性分析:从有限样本到无限样本

最优化与控制 2025-06-19 v3 机器学习 概率论 机器学习

摘要

本文处理一类神经随机微分方程(neural SDEs),并研究当样本量趋于无穷时相关采样最优控制问题的极限行为。具有 NN 个样本的神经 SDEs 可与具有集中控制的 NN 粒子系统相联系。我们分析了对应于 NN 粒子系统的 Hamilton-Jacobi-Bellman 方程,并建立了关于 NN 的一致正则性结果。该一致正则性估计是通过随机最大原理和倒向随机 Riccati 方程的分析获得的。利用这些一致正则性结果,我们证明了当样本量 NN 趋于无穷时,神经 SDEs 目标泛函极小值与最优参数的收敛性。极限对象可由定义在 Borel 概率测度的 Wasserstein 空间上的适当函数来刻画。此外,还得到了定量的收敛速率。

关键词

引用

@article{arxiv.2404.05185,
  title  = {Convergence analysis of controlled particle systems arising in deep learning: from finite to infinite sample size},
  author = {Huafu Liao and Alpár R. Mészáros and Chenchen Mou and Chao Zhou},
  journal= {arXiv preprint arXiv:2404.05185},
  year   = {2025}
}

备注

46 pages