中文

通过控制族的非线性实现普适逼近与普适插值

最优化与控制 2025-10-07 v1 动力系统

摘要

动力系统的可控性与神经网络的逼近能力之间存在着显著的联系,其中残差网络和纯feedforward神经网络都可被视为动力系统流图的数值离散化。利用神经网络的表达力,先前的工作探索了各种控制族F\mathcal{F}以实现动力系统的流图,从而实现普适逼近性(UAP)或普适插值性(UIP)。例如,包含特定非线性函数ReLU的仿射族Fass(ReLU)\mathcal{F}_\text{ass}({\mathrm{ReLU}})实现UAP;而包含非线性函数ff的仿射不变性控制族Faff(f)\mathcal{F}_{\mathrm{aff}}(f)实现UIP。然而,UAP和UIP通常不会等价,因此通常需要以不同技术分别加以研究。在本文中,我们研究更一般的控制族,包括Fass(f)\mathcal{F}_\text{ass}(f)其中ff是ReLU之外的非线性函数,Fdiag(f)\mathcal{F}_{\mathrm{diag}}(f)的对角仿射不变族,以及在均匀范数下保持方向-preserving的diffeomorphism的UAP。我们证明在某些特殊情况下,UAP和UIP确实等价,而在一般情况下,我们引入局部UIP的概念(一种显著弱于UIP的版本),并证明UAP和局部UIP的组合可实现UIP。特别地,控制族Fass(ReLU)\mathcal{F}_\text{ass}({\mathrm{ReLU}})实现了UIP。

关键词

引用

@article{arxiv.2510.03676,
  title  = {Achieving Universal Approximation and Universal Interpolation via Nonlinearity of Control Families},
  author = {Yongqiang Cai and Yifei Duan},
  journal= {arXiv preprint arXiv:2510.03676},
  year   = {2025}
}