具有 RePU 激活的可微神经网络：在分数估计与保序回归中的应用
机器学习
2024-04-23 v3 机器学习
摘要
我们研究由整流幂单元（RePU）函数激活的可微神经网络的特性。我们证明 RePU 神经网络的偏导数可由 RePU 混合激活网络表示，并推导出 RePU 网络导数函数类复杂度的上界。我们建立了同时使用 RePU 激活的深度神经网络逼近 光滑函数及其导数的误差界。此外，当数据具有近似低维支撑时，我们推导出改进的逼近误差界，展示了 RePU 网络缓解维数灾难的能力。为说明结果的有用性，我们考虑深度分数匹配估计器（DSME）并提出了使用 RePU 网络的惩罚深度保序回归（PDIR）。在目标函数属于 光滑函数类的假设下，我们建立了 DSME 和 PDIR 的非渐近超额风险界。我们还表明 PDIR 达到了极小极大最优收敛速率，并具有鲁棒性：即使单调性假设不满足，在惩罚参数趋于零时仍保持一致。此外，若数据分布支撑于近似低维流形上，我们证明 DSME 和 PDIR 可缓解维数灾难。
引用
@article{arxiv.2305.00608,
title = {Differentiable Neural Networks with RePU Activation: with Applications to Score Estimation and Isotonic Regression},
author = {Guohao Shen and Yuling Jiao and Yuanyuan Lin and Jian Huang},
journal= {arXiv preprint arXiv:2305.00608},
year = {2024}
}
备注
78 pages, 20 figures, and 6 tables. arXiv admin note: text overlap with arXiv:2207.10442