中文

Voronoigram:基于散乱数据的有界变差函数极小极大估计

机器学习 2023-01-02 v1 机器学习 统计理论 统计方法学 统计理论

摘要

我们考虑从随机设计点 xiRdx_i \in \mathbb{R}^di=1,,ni=1,\ldots,n)处的含噪观测 yi=f0(xi)+ziy_i = f_0(x_i) + z_i 估计有界变差(BV)多元函数 f0f_0 的问题。我们研究一种估计量:它先构建设计点的 Voronoi 图,然后求解一个依据某种离散全变差(TV)概念进行正则化的优化问题——该离散 TV 为所有 Voronoi 图中相邻单元 i,ji,j 的参数 θi,θj\theta_i,\theta_j(用于估计函数值 f0(xi),f0(xj)f_0(x_i),f_0(x_j))的加权绝对差之和。可见,一旦将定义域限制为在 Voronoi 图上分段常值的函数,这就等价于一个依据通常的连续统(测度论)TV 概念正则化的变分优化问题。所考虑的回归估计量因而在自适应形成的 Voronoi 单元并集上执行(收缩的)局部平均,我们遵循 Koenker (2005) 的思想并受 Tukey 的 regressogram(Tukey, 1961)启发,称之为 Voronoigram。我们在本文的贡献涵盖概念与理论前沿:我们讨论了 Voronoigram 相较于使用其他基于图离散化的 TV 正则化估计量的若干独特性质;推导了 Voronoi TV 泛函的渐近极限;并证明了 Voronoigram 在估计本质有界 BV 函数时是极小极大速率最优的(相差对数因子)。

关键词

引用

@article{arxiv.2212.14514,
  title  = {The Voronoigram: Minimax Estimation of Bounded Variation Functions From Scattered Data},
  author = {Addison J. Hu and Alden Green and Ryan J. Tibshirani},
  journal= {arXiv preprint arXiv:2212.14514},
  year   = {2023}
}

备注

75 pages, 10 figures