高斯过程与随机序列先验在贝叶斯非参数回归模型中的 L2 后验收敛率
统计理论
2025-12-24 v1 统计理论
摘要
具有正态误差的非参数回归模型已从频率主义和贝叶斯视角广泛研究。贝叶斯非参数中的一个核心结果是：在关于先验、数据生成分布（假设存在真实频率主义模型）和回归函数空间上的半度量 ρ(.,.)满足所谓测试条件的假设下，后验围绕真实分布收敛，收敛率可被估计。在回归语境中，半度量 ρ(.,.)通常取为 Hellinger 距离或经验 L2 范数（即相对于设计的经验分布的 L2 范数）。然而，将收敛率扩展到“积分”L2 范数通常需要更多工作，此前的工作例如在足够光滑或有界性假设下已实现。在本工作中，我们表明，对于基于随机基扩写或具有 Sobolev 类型 RKHS 的高斯过程先验，以及在随机设计情形下，可在显著弱于当前文献中使用的假设下获得此类 L2 后验收敛率。重要的是，我们不需要对其 supremum 范数事先known的上界，也不需要其光滑性大于 d/2，其中 d 为协变量的维数。我们的证明关键依赖于对经验内积矩阵应用矩阵 Bernstein 浓度不等式，这需要我们对所用基函数给出显式的上界，我们在多个感兴趣的案例中对其进行了证明。特别是，我们获得了包括多个 Matérn 核在内的多个再生核的 Mercer 特征函数 supremum 范数的上界，这些结果本身也具有独立的兴趣。
引用
@article{arxiv.2512.20503,
title = {$L^2-$posterior contraction rates for Gaussian process and random series priors in Bayesian nonparametric regression models},
author = {Paul Rosa},
journal= {arXiv preprint arXiv:2512.20503},
year = {2025}
}