结构化深度核网络的分析
机器学习
2025-09-19 v2
摘要
在本文中，我们利用近期提出的深度核表示定理，将基于核的学习与（深度）神经网络联系起来，以理解它们的相互作用。特别地，我们表明使用特殊类型的核可得到类似于神经网络的模型，这些模型建立在经典核方法同一理论框架之上，同时受益于深度神经网络的计算优势。尤其是所引入的结构化深度核网络（SDKNs）可视为具有服从表示定理的可优化激活函数的神经网络（NNs）。这一联系使我们也能在核网络框架内分析 NNs。我们证明了 SDKNs 的分析性质，展示了其在中心数、宽度和深度无界这三种不同渐近情形下的通用逼近性质。尤其在深度无界情形下，与 ReLU 神经网络的相应构造相比，利用核逼近的性质可用更少的层实现更精确的构造。
引用
@article{arxiv.2105.07228,
title = {Analysis of Structured Deep Kernel Networks},
author = {Tizian Wenzel and Gabriele Santin and Bernard Haasdonk},
journal= {arXiv preprint arXiv:2105.07228},
year = {2025}
}