SUPN：浅层通用多项式网络
机器学习
2025-11-27 v1 数值分析
数值分析
摘要
深度神经网络(DNN)和Kolmogorov-Arnold网络(KAN)是函数逼近的流行方法，因其灵活性和表达性。然而，它们通常需要大量可训练参数才能实现合适的逼近。此外，过参数化会降低网络的透明性，增加优化空间，可能导致训练中出现泛化误差差异较大的局部极小值。因此，网络初始化对模型的样外准确性影响巨大。基于此，我们提出浅层通用多项式网络(SUPN)。这些网络将除最后一隐藏层之外的所有层替换为单一层的可学习多项式，充分利用DNN和多项式的优势，以更少的参数实现充分的表达性。我们证明SUPN的收敛率与相同次数多项式逼近的最佳逼近的收敛率相同，并推导出准最优SUPN参数的显式公式。我们以大量数值实验补充理论，涉及SUPN、DNN、KAN和多项式投影，测试维度为一、二和十，训练模型超过13,000个。在我们数值研究的目标函数上，就给定可训练参数数量而言，SUPN的逼近误差和变动性通常比DNN和KAN低一个数量级。在我们的例子中，SUPN甚至在非光滑函数上也优于多项式投影。
引用
@article{arxiv.2511.21414,
title = {SUPN: Shallow Universal Polynomial Networks},
author = {Zachary Morrow and Michael Penwarden and Brian Chen and Aurya Javeed and Akil Narayan and John D. Jakeman},
journal= {arXiv preprint arXiv:2511.21414},
year = {2025}
}
备注
25 pages, supplementary material