高维下高斯过程先验的收缩率与投影子空间估计

本文探讨了贝叶斯非参数回归和密度估计中的降维问题。更具体地说，我们关注在 $\mathbb{R}^d$ 的单位球上估计一个函数参数 $f$，该参数仅依赖于 $\mathbb{R}^d$ 的一个 $d^*$ 维子空间，其中 $d^* < d$。众所周知，函数空间上的重缩放高斯过程先验可实现平滑度自适应，并以接近极小极大最优速率进行后验收缩。此外，配备子空间投影的该方法的层次扩展也能适应内在维度 $d^*$ (\cite{Tokdar2011DimensionAdapt})。当环境维度 $d$ 不随 $n$ 变化时，极小极大速率仍为 $n^{-\beta/(2\beta +d^*)}$ 量级，其中 $\beta$ 表示 $f$ 的平滑度。然而，这涉及乘法常数，当 $d$ 增大时，这些常数可能变得过大。收缩率与环境维度之间的依赖关系尚未得到充分探索，本文提供了初步见解：我们令维度 $d$ 随 $n$ 增长，并结合 \cite{Tokdar2011DimensionAdapt} 和 \cite{Jiang2021VariableSelection} 的论证，推导出了仍能导致以极小极大速率实现后验一致性的 $d$ 的增长率。随后讨论了该增长率的最优性。此外，我们提供了一组假设，在这些假设下，$f$ 的一致性估计可导致子空间投影的正确估计，前提是 $d^*$ 已知。