深度网络是再生核链

Tjeerd Jan Heeringa; Len Spek; Christoph Brune

深度网络是再生核链

机器学习 2025-01-08 v1 泛函分析机器学习

作者: Tjeerd Jan Heeringa , Len Spek , Christoph Brune

摘要

为深度神经网络确定合适的函数空间仍是一个关键且开放的问题。虽然浅层神经网络天然地与再生核 Banach 空间 (RKBS) 相关联,但深度网络带来了独特的挑战。在本工作中,我们将 RKBS 扩展为链式 RKBS (cRKBS),这是一种新的框架,它组合的是核而非函数,同时保留了 RKBS 的优良性质。我们证明了任何深度神经网络函数都是神经 cRKBS 函数;反之,任何在有限数据集上定义的神经 cRKBS 函数都对应于一个深度神经网络。该方法为经验风险最小化问题提供了稀疏解,每层所需的神经元数量不超过 $N$ ,其中 $N$ 为数据点的数量。

关键词

深度神经网络再生核 Banach 空间链式 RKBS 经验风险最小化函数空间稀疏表示神经网络理论

引用

@article{arxiv.2501.03697,
  title  = {Deep Networks are Reproducing Kernel Chains},
  author = {Tjeerd Jan Heeringa and Len Spek and Christoph Brune},
  journal= {arXiv preprint arXiv:2501.03697},
  year   = {2025}
}

备注

25 pages, 3 figures

深度网络是再生核链

摘要

关键词

引用

备注

相关论文