基于深度神经网络的鲁棒非参数回归
统计理论
2021-07-23 v1 统计理论
摘要
在本文中，我们研究在具有重尾误差分布的回归模型中使用深度神经网络进行鲁棒非参数估计的性质。在回归函数的适当光滑性条件与误差项的温和条件下，我们建立了使用具有 ReLU 激活的深度神经网络的一类鲁棒非参数回归估计量的非渐近误差界。特别地，我们仅假设误差分布具有大于一的有限 p 阶矩。我们还表明，当预测变量的分布支撑于一个近似低维集合上时，深度鲁棒回归估计量能够规避维数灾难。我们的误差界的一个重要特征是，对于网络宽度与网络规模（参数数量）不超过预测变量维数 d 的平方量级的 ReLU 神经网络，我们的超额风险界对 d 呈亚线性依赖。我们的假设放宽了精确的流形支撑假设，后者在实践中可能具有限制且不现实。我们还放宽了近期文献中所需的数据分布、目标回归函数与神经网络上的若干关键假设。我们的模拟研究表明，当误差具有重尾分布时，鲁棒方法可以显著优于最小二乘法，并说明在深度非参数回归背景下损失函数的选择十分重要。
引用
@article{arxiv.2107.10343,
title = {Robust Nonparametric Regression with Deep Neural Networks},
author = {Guohao Shen and Yuling Jiao and Yuanyuan Lin and Jian Huang},
journal= {arXiv preprint arXiv:2107.10343},
year = {2021}
}
备注
Guohao Shen and Yuling Jiao contributed equally to this work. Corresponding authors: Yuanyuan Lin (Email: [email protected]) and Jian Huang (Email: [email protected]). arXiv admin note: substantial text overlap with arXiv:2104.06708