面向稳健深度 ReLU 网络的新经验过程工具及其对非参数回归相位转变的分析
统计理论
2025-11-24 v2 统计理论
摘要
本文引入新的经验过程工具，用于分析在重尾噪声和复杂函数类下的广泛统计学习模型。我们的主要贡献是推导两个类似 Dudley 的最大不等式，用于预期经验过程，摆脱轻尾和函数类均匀有界性的限制。这两个不等式扩大了可用于统计学习和非参数估计的经验过程理论范围。利用新的界，我们在 Huber 回归和分位数回归中建立深度 ReLU 网络估计器的稳健性保证。特别是，我们证明了一个统一的非渐近亚高斯浓度界，即使在噪声具有无限方差时仍然有效，并为深度 Huber 估计器提供了全面的非渐近稳健性分析。对于深度分位数回归，我们提供了首个无需假设矩条件的非渐近亚高斯界。此外，我们的框架还产生了能够同时容纳无限方差噪声、非 Donsker 函数类和近似误差的非参数最小二乘估计器的估计误差界。而且，与基于专用乘子过程的先前方法不同，我们的框架可扩展到更广泛的经验风险最小化问题，包括非参数广义线性模型和“set 结构”模型。
关键词
引用
@article{arxiv.2511.15841,
title = {New Empirical Process Tools and Their Applications to Robust Deep ReLU Networks and Phase Transitions for Nonparametric Regression},
author = {Yizhe Ding and Runze Li and Lingzhou Xue},
journal= {arXiv preprint arXiv:2511.15841},
year = {2025}
}