深度分位数回归:通过复合结构缓解维度灾难
统计理论
2021-08-03 v2 统计理论
摘要
本文在目标条件分位数函数为一系列低维函数复合的假设下,研究非参数分位数回归问题。我们研究使用深度神经网络逼近目标条件分位数函数的非参数分位数回归估计量。为方便起见,我们将此类估计量称为深度分位数回归(DQR)估计量。我们证明,DQR估计量达到非参数最优收敛速率,直至由条件分位数函数底层复合结构的内蕴维数(而非预测变量的 ambient 维数)所决定的对数因子。因此,在条件分位数函数具有复合结构的假设下,DQR能够缓解维度灾难。为建立这些结果,我们分析了复合函数被神经网络逼近的逼近误差,并证明该误差速率仅依赖于各分量函数的维数。我们将一般结果应用于缓解维度灾难的若干重要统计模型,包括单指标、加性、投影寻踪、单变量复合以及广义分层交互模型。我们明确给出了误差界中的前置因子关于数据维数的表达式,并表明在这些模型中前置因子线性或二次地依赖于维数。我们还进行了大量数值实验以评估DQR的有效性,并证明其优于基于核的非参数分位数回归方法。
引用
@article{arxiv.2107.04907,
title = {Deep Quantile Regression: Mitigating the Curse of Dimensionality Through Composition},
author = {Guohao Shen and Yuling Jiao and Yuanyuan Lin and Joel L. Horowitz and Jian Huang},
journal= {arXiv preprint arXiv:2107.04907},
year = {2021}
}
备注
Guohao Shen and Yuling Jiao contributed equally to this work. Co-corresponding authors: Yuanyuan Lin (email: [email protected]) and Jian Huang (email: [email protected])