ChebNet：基于切比雪夫近似的带修正幂单元深度神经网络的高效稳定构造
机器学习
2026-05-18 v3 数值分析
数值分析
摘要
在先前的研究 [B. Li, S. Tang and H. Yu, Commun. Comput. Phy. 27(2):379-411, 2020] 中表明，以修正幂单元（RePU）作为激活函数构建的深度神经网络，可通过将幂级数多项式近似转化为具有最优复杂度且无逼近误差的深度神经网络，比以修正线性单元构建的网络对充分光滑函数给出更好的逼近。然而在实践中，由于相关的稳定性问题，幂级数近似不易获得。本文提出一种基于切比雪夫多项式近似的构造 RePU 深度神经网络的新且更稳定的方法。通过在频域中使用切比雪夫多项式近似的层次结构，我们获得了高效且稳定的深度神经网络构造，称之为 ChebNet。ChebNet 对光滑函数的逼近不差于使用幂级数的深度 RePU 网络逼近。同时，ChebNet 稳定得多。数值结果表明，所构造的 ChebNet 可进一步微调，获得比微调由幂级数方法构造的深度 RePU 网络好得多的结果。由于直接训练深度神经网络难以获得谱精度，ChebNet 提供了一种获得谱精度的实用途径，有望在对光滑函数高效逼近有需求的真实应用中发挥作用。
引用
@article{arxiv.1911.05467,
title = {ChebNet: Efficient and Stable Constructions of Deep Neural Networks with Rectified Power Units via Chebyshev Approximations},
author = {Shanshan Tang and Bo Li and Haijun Yu},
journal= {arXiv preprint arXiv:1911.05467},
year = {2026}
}
备注
6 figures, 3 tables, to appear on Communications in Mathematics and Statistics