中文

基于有界截面变差范数的càdlàg函数经验风险最小化的快速收敛率

统计理论 2019-08-26 v2 统计理论

摘要

对在某类变差范数意义下有界的函数类进行经验风险最小化有着悠久的历史,始于全变差去噪(Rudin等人,1992),并被若干近期文章所考虑,特别是Fang等人(2019)与van der Laan(2015)。本文中,我们考虑在[0,1]d[0,1]^d上具为有界截面变差范数(亦称Hardy-Krause变差)的càdlàg函数类Fd\mathcal{F}_d上的经验风险最小化。我们展示了Fd\mathcal{F}_d中函数的某种表示如何能界定Fd\mathcal{F}_d筛(sieves)的括号熵,从而导出非参数函数估计中的收敛速率。具体而言,对于增长由某速率ana_n控制的筛,我们表明经验风险最小化子具有收敛速率OP(n1/3(logn)2(d1)/3an)O_P(n^{-1/3} (\log n)^{2(d-1)/3} a_n)。值得注意的是,维度仅通过对数因子影响关于nn的速率,使该方法特别适用于高维问题。我们特别表明,在具为有界截面变差范数的càdlàg函数筛上的非参数回归情形下,该收敛速率上界在随机设计、次指数误差设定下对最小二乘估计量成立。

关键词

引用

@article{arxiv.1907.09244,
  title  = {Fast rates for empirical risk minimization over c\`adl\`ag functions with bounded sectional variation norm},
  author = {Aurélien F. Bibaut and Mark J. van der Laan},
  journal= {arXiv preprint arXiv:1907.09244},
  year   = {2019}
}