中文

ODE解的类:光滑性、覆盖数、对含噪函数拟合的启示及光滑性诅咒现象

统计理论 2021-03-19 v3 机器学习 统计理论

摘要

许多从数据中恢复ODE解的数值方法依赖于在最小二乘准则下使用基函数或核函数对解进行逼近。该方法的精度取决于解的光滑性。本文通过建立关于ODE解类的光滑性与覆盖数(作为其“规模”的度量)的新结果,为这些方法提供了理论基础。我们的结果回答了“ODE类的光滑度及其‘规模’如何影响相应解类的‘规模’?”这一问题。我们表明:(1) 对于 y=f(y)y^{'}=f\left(y\right)y=f(x,y)y^{'}=f\left(x,\,y\right),若 ff 的所有 kk 阶(kβ+1k\leq\beta+1)导数的绝对值均以 11 为界,则解的第 (k+1)(k+1) 阶导数其量级可随 kk 阶乘式快速增长——“光滑性诅咒”;(2) 我们对 (β+2)(\beta+2) 阶光滑解类覆盖数的上界大于“标准”单变量函数 (β+2)(\beta+2) 阶光滑类的覆盖数;(3) 若 n=Ω((βlog(β1))4β+10)n=\Omega\left(\left(\beta\sqrt{\log\left(\beta\vee1\right)}\right)^{4\beta+10}\right),则含噪恢复的最小二乘拟合的均方误差收敛速率不大于 (1n)2(β+2)2(β+2)+1\left(\frac{1}{n}\right)^{\frac{2\left(\beta+2\right)}{2\left(\beta+2\right)+1}},且在此条件下,该速率在 y=f(x,y)y^{'}=f\left(x,\,y\right) 情形下是极小极大最优的;(4) 更一般地,对于高阶Picard型ODE y(m)=f(x,y,y,...,y(m1))y^{\left(m\right)}=f\left(x,\,y,\,y^{'},\,...,y^{\left(m-1\right)}\right),解类的覆盖数由上界不超过 ff 所取值的类 F\mathcal{F} 的覆盖数与初值所在集合的覆盖数之积。

关键词

引用

@article{arxiv.2011.11371,
  title  = {Classes of ODE solutions: smoothness, covering numbers, implications for noisy function fitting, and the curse of smoothness phenomenon},
  author = {Ying Zhu and Mozhgan Mirzaei},
  journal= {arXiv preprint arXiv:2011.11371},
  year   = {2021}
}