超越一维的全变分类：极小极大速率与线性平滑器的局限性

我们考虑估计定义在$d$维网格上$n$个位置（所有边长等于$n^{1/d}$）的函数的问题。当函数被约束为离散全变差以$C_n$为界时，我们推导了由$n$和$C_n$参数化的极小极大最优（平方）$\ell_2$估计误差率。全变差去噪，也称为融合套索（fused lasso），被证明是速率最优的。存在几种更简单的估计量，如拉普拉斯平滑（Laplacian smoothing）和拉普拉斯特征映射（Laplacian eigenmaps）。一个自然的问题是：这些更简单的估计量能表现得一样好吗？我们证明这些估计量，更广泛地说所有由输入数据的线性变换给出的估计量，在有界变差函数类上是次优的。这将Donoho和Johnstone [1998]关于一维全变差空间的基础发现扩展到了更高维。其含义是，如果不牺牲统计精度，计算上更简单的方法不能用于此类复杂的去噪任务。我们还推导了$d$维网格上离散Sobolev空间的极小极大速率，这些空间在某种意义下小于全变差函数空间。事实上，这些空间足够小，使得线性估计量可以是最优的——并且如我们所示，一些著名的估计量就是最优的，例如拉普拉斯平滑和拉普拉斯特征映射。最后，我们研究了全变差去噪器对这些更小Sobolev函数空间的适应性问题。