基于深度ReLU网络的分位数回归：估计量与极小极大速率
统计理论
2020-12-21 v5 机器学习
统计理论
摘要
分位数回归是从一组已知协变量中估计指定百分位响应（如中位数）的任务。我们研究以修正线性单元（ReLU）神经网络作为选定模型类的分位数回归。我们推导了用于估计任意条件分位数的ReLU网络的期望均方误差上界。该上界仅依赖于最佳可能逼近误差、网络层数以及每层节点数。我们进一步给出了对两类广泛函数类紧的上界：Hölder函数复合与Besov空间元素。这些紧界意味着采用ReLU网络的分位数回归在广泛函数类上达到了极小极大速率。与已有工作不同，理论结果在极小假设下成立，并适用于一般误差分布，包括重尾分布。在一系列合成响应函数上的经验模拟表明，理论结果可转化为ReLU网络的实际实现。总体而言，理论与经验结果为ReLU神经网络在广泛函数类与误差分布下分位数回归的优异表现提供了洞见。本文所有代码公开于 https://github.com/tansey/quantile-regression。
引用
@article{arxiv.2010.08236,
title = {Quantile regression with deep ReLU Networks: Estimators and minimax rates},
author = {Oscar Hernan Madrid Padilla and Wesley Tansey and Yanzhen Chen},
journal= {arXiv preprint arXiv:2010.08236},
year = {2020}
}