一种分布自由的截断核岭回归估计量及相关的谱分析

众所周知,核岭回归(KRR)是一种流行的非参数回归估计量。然而,在面对规模为$n\gg 1$的大数据集时,KRR估计量的缺陷在于需要密集的计算负载。近来,人们提出了可扩展的KRR方法,旨在降低KRR的计算复杂度,同时保持其优异的收敛速率。本文中,我们研究一种新的可扩展KRR基非参数回归方法。我们的截断核岭回归(TKRR)方法简洁,基于将对应于Mercer核$\mathbb K$的完备$n\times n$随机核或Gram矩阵$B_n$替换为其主$n\times N$子矩阵$A_N$,其中通常有$N \ll n$。此外,我们证明TKRR可处理服从未知概率律的$d$维随机采样数据。为此,我们对不同于其通常概率测度的、与某概率测度相关联的紧核积分算子给出谱分析。该衰减估计随后被推广到相关联随机Gram矩阵迹尾部的衰减。我们特别致力于给出截断阶数$N$与正则化参数$\lambda >0$取值的最优选择规则。所提规则基于与核$\mathbb K$相关的正积分算子谱的行为与衰减速率。这些参数的最优值确保了在经验风险误差意义上,TKRR与完备KRR估计量具有相同的最优收敛速率。最后,我们给出了一些数值模拟以展示所提TKRR估计量的性能。