遍历 Itô 扩散机器学习中不变统计量的误差界
机器学习
2021-10-04 v2 数值分析
动力系统
数值分析
摘要
本文研究遍历 Itô 扩散机器学习中的理论基础。目标是理解当底层随机微分方程 (SDEs) 系统通过监督回归框架经验性估计时，不变统计量的收敛性质。利用遍历马尔可夫链的扰动理论与线性响应理论，我们推导出单点与两点不变统计量的误差对漂移与扩散系数学习误差的线性依赖关系。更重要的是，我们的研究表明通常的 -范数对学习泛化误差的刻画不足以得到该线性依赖结果。我们发现，得到该线性依赖结果的充分条件是：学习算法在假设空间中产生一致 Lipschitz 且一致的估计量，并保留漂移系数的某些特征，例如保证底层 SDEs 解存在的通常线性增长条件。我们在两种公认的学习算法上检验了这些条件：基于核的谱回归方法与具有 ReLU 激活函数的浅层随机神经网络。
引用
@article{arxiv.2105.10102,
title = {Error Bounds of the Invariant Statistics in Machine Learning of Ergodic It\^o Diffusions},
author = {He Zhang and John Harlim and Xiantao Li},
journal= {arXiv preprint arXiv:2105.10102},
year = {2021}
}
备注
34 pages